話しは前後するが、宗矩には４男、すなわち長男十兵衛三厳、次男刑部少輔友矩、同年齢の三男主膳宗冬、四男列堂（芳徳寺第一世座主）があった。

夭逝（ようせい、27歳）した次男友矩についてである。寛永11年の将軍上洛にも供奉し、徒士（かち）頭を命じられている。その後、大名に取り立てるとの将軍の内証あったが、信綱からの情報提供を受けた宗矩がこれをよしとせず、友矩を引退させ十兵衛三厳の元に預けたのである。「容姿端麗・君寵頗る厚く」といわれた友矩は柳生家の役割からして目立ち過ぎたのであろう。病を得て、柳生の里にこもり、そこで亡くなった（自殺の可能性がある）。
 
次に宗冬である。宗冬は優秀な兄たちがいたため新陰流兵法の稽古は熱心ではなかったようだが、18歳の時に土井利勝の家で喜多流二代喜多十太郎当能（まさよし）の猿楽を見て心機一転、精励するようになった。宗矩が死に、十兵衛も死に、宗冬が家督を継いだのである。
明暦２（1656）年には、家綱の兵法師範となった。このころ、信綱は身内の者（旗本）を江戸柳生家の控宗家とさせ、代々柳生家を側面から支える体制を整えたようだ。