所ジョージを語る上で欠かせないのが、芸能界屈指の愛妻家としての素顔です。妻である芳賀文子（はが ふみこ）さんとの出会いは、彼がまだ売れないミュージシャンとして下積み生活を送っていた20代前半の頃でした。
当時、文子さんが経営していた飲食店に客として通っていた所ジョージは、彼女の凛とした佇まいと包容力に一目惚れします。猛アタックの末に交際がスタートし、1981年に結婚。その際、彼女の実家の跡継ぎ問題に配慮し、自ら進んで芳賀家の婿養子（本名が角田から芳賀へ変更）に入る決断を下しました。
文子さんは結婚後、個人事務所「ティ・ヴィ クラブ」の社長として経営を一手に引き受け、所ジョージの自由な創作活動を物心両面で支え続けています。メディアのインタビューで彼が度々口にする「カミさんの笑顔を見るのが一番の仕事」「生まれ変わっても同じ人と結婚する」という言葉は、若い頃の苦楽を共に乗り越えた強い信頼関係に裏打ちされたものです。
