彼の生い立ちを語る上で避けて通れないのが、非常に苛酷で複雑な家族構成だ。母親は生涯で3度の結婚と離婚を経験しており、彼は5人兄弟の長男として誕生した。長男の彼、次男・三男、そして四男・五男とで父親が異なる「異父兄弟」という環境で育った。
母親との確執や家計の苦境のなか、幼い弟たちの世話を実質的に担ったのは若き日の高橋一生だった。粉ミルクの準備からオムツ替え、学校の面談に至るまで、文字通り「父親代わり」として幼子たちを保護し続けた。日本芸能界の華やかな表舞台とは裏腹に、彼は若くして人生の苦難と責任を背負っていたのだ。