沢田の私生活における大きな転換点となったのが、双子デュオ「ザ・ピーナッツ」の姉として一世を風靡した伊藤エミとの結婚と、その後の離婚劇だった。ふたりの間には長男が誕生し、一時は祝福に包まれたものの、すれ違いの末に1980年代後半に破局を迎える。当時としては異例の巨額な慰謝料や財産分与が話題となったが、それは伊藤エミと息子に対する沢田なりの責任の取り方でもあった。
その後、女優の田中裕子と再婚し新たな生活をスタートさせた沢田だったが、前妻と息子への配慮から、長男との接触は極力控える道を選んだ。伊藤エミが息子のプライバシーを徹底して守り、静かな環境で育て上げたこともあり、父と息子の距離は物理的にも心理的にも保たれ続けた。2012年に伊藤エミが急逝した際も、沢田は過度な露出を避け、遠くから深く哀悼を捧げていたとされる。
