公私にわたる波乱は、家族との距離感にも影響を与えてきた。妻であるプロゴルファーの東尾理子とは、度重なる騒動のたびに離婚危機が報じられ、芸能ニュースやワイドショーの好餌となってきた。現在も別居説や不仲説が途切れることはないが、子供たちの育児や生活基盤においては密に連絡を取り合っているとされる。
一方、同じく芸能界で波乱の人生を送る長男のいしだ壱成との関係も、メディアの関心事だ。かつて太田プロダクションなど大手事務所が席巻する芸能界で異彩を放った父と子。互いに苦境を経験したからこそ通じ合う独特の絆が存在する。一時期は絶縁状態とも噂されたが、近年はお互いのSNSやメディアで言及し合うなど、ゆるやかな和解の兆しを見せている。家族の存在こそが、衰えを知らぬ彼のバイタリティの源泉かもしれない。