ブラザートムの私生活において、多くの人々が関心を寄せるのが2人の息子たちの存在です。前妻との間に誕生した長男の小柳心（こやなぎ しん）と次男の小柳友（こやなぎ ゆう）は、現在ともに日本の映画・ドラマ・舞台界で確固たる地位を築く実力派俳優として活躍しています。
長男の小柳心は、映画『クローズZERO II』や大河ドラマなどに出演する一方、作家・小説家としても執筆活動を行うなど、父親譲りの多彩なマルチクリエイターぶりを発揮。次男の小柳友は、映画『トウキョウソナタ』で高崎映画祭最優秀新人男優賞を受賞し、数々の名作映画やドラマ、舞台で重厚な演技を見せるバイプレーヤーとして高く評価されています。
芸能界にありがちな「親のコネクション」をあえて使わず、息子たちが自らのオーディションと現場の実績だけで道を切り拓いてきた背景には、トム独自の教育方針がありました。「自分の人生の責任は自分で取る」という厳格な距離感を保ちつつ、一人の表現者として息子たちの挑戦を温かく見守るスタンスを貫いたからこそ、2人は「二世俳優」という色眼鏡を完全に払拭することに成功しています。
