渡瀬氏の私生活を語る上で欠かせないのが、最初の結婚相手である女優の大原麗子氏との関係だ。当時のトップスター同士による華やかな結婚は大きな注目を集めたが、お互いに多忙を極めるスター同士の生活は長くは続かず、1978年に離婚という結末を迎えた。傷心を抱えながらも役者としてさらなる高みを目指していた彼が出会ったのが、後に生涯の伴侶となる一般女性のい保（本名・渡瀬保子）さんだった。
1979年に再婚を果たした際、二人が選んだのは徹底してメディアの表舞台に立たない「静かな生活」だった。派手な芸能界の宴席や取材を控え、家庭という絶対的なプライベート空間を何よりも大切にした。スターとして常に重圧と戦う夫を、い保さんは温かく、そして力強く家庭の陰から支え続けた。過剰な演出や虚栄を嫌った渡瀬氏にとって、実直で芯の強い彼女の存在こそが、過酷な撮影現場へ立ち向かう最大の糧となっていた。
