1987年、日本中が息をのんだ。昭和の大名優・二谷英明の娘であり、新進気鋭の女優だった二谷友里恵との結婚である。披露宴の模様はテレビ生中継され、最高視聴率47.6%という異例の数字を記録。文字通り日本中が祝福した世紀のビッグカップルだった。
二人の間には二人の女児が誕生し、一見すると順風満帆な家庭生活を営んでいるかに見えた。しかし1998年、11年間の結婚生活に終止符が打たれる。後に郷自身が手掛けたミリオンセラー手記『ダディ』で明かした離婚理由は、自身の不貞や夫婦間の決定的な価値観のズレだった。ただ、そこには単なる愛憎劇ではなく、互いのプライドと人生観がぶつかり合った末の苦渋の選択があったと伝えられている。二谷友里恵はその後、実業家へと転身し大手教育企業のトップとして手腕を発揮。現在もそれぞれの道で第一線を走っている。