私生活では1964年、同じく歌手として活躍していた渡辺友子さんと結婚しました。2人の間には2人の娘が誕生し、テレビ番組やCMに一家揃って出演するなど、昭和の芸能界を代表する「理想のおしどり夫婦」「マイホームパパ」の象徴として世間から絶大な好感度を集めました。しかし、幸福に見えた家族の姿はやがて大きな亀裂を見せることになります。
1986年、世間を揺るがした電撃離婚が成立。仲睦まじいイメージが強かっただけに、その決別劇は列島に大きな衝撃を与えました。取り沙汰された離婚理由は多岐にわたり、互いの価値観の相違や生活態度のすれ違い、さらには家庭内でのトラブルを巡って双方が主張を繰り広げるなど、泥沼のワイドショー報道へと発展しました。クリーンなファミリー像を売りにしていた反動は凄まじく、仕事の激減やバッシングに直面しながらも、彼は2人の娘の親権を引き取り、シングルファーザーとして育てる道を選択しました。
