山田五十鈴の人生を特徴づけるもう一つの要素が、激しい恋愛遍歴と4度の結婚・離婚です。彼女が選んだ歴代の夫たちは、いずれも当時の映画・演劇界を代表する才人たちでした。
最初の夫は、時代劇の大スターであった月形龍之介。若き日の五十鈴を導く存在でしたが、スター同士の生活は長くは続きませんでした。続いて結婚したのがプロデューサーの谷口駿介であり、彼との間に唯一の実子である瑳峨三智子が生まれます。
3人目の夫は、戦前戦後の名バイプレイヤーとして名高い俳優の加東大介(1943年結婚、戦後離婚)。そして4人目の夫は、劇団民藝の実力派俳優である下元勉(1950年結婚、1954年離婚)でした。さらにその後も、舞台関係者やデザイナーとの華やかなロマンスが報じられました。
同時代に彼女を取材した演劇記者の証言によると、「山田五十鈴にとっての恋愛は、役柄に血を通わせるための情熱の源泉そのものであった」と語られています。男に寄りかかって安住することを決して選ばず、芝居への欲求が結婚生活の枠組みを超えた瞬間に潔く別れを選ぶ――。それは当時の封建的な女性観を完全に超越した、究極の個人主義とプロフェッショナリズムの表れでした。