渡部氏を取り巻く女性関係は非常に多層的です。日本国内の現行法では重婚が認められていないため、法律上の婚姻関係ではなく、全員が合意の上での「事実婚」という形を取っています。
家庭内の序列として知られているのが、精神的支柱でもある「第1夫人」の陽咲（ひさき）さん、続いて迎え入れられた「第2夫人」の彩花さん、「第3夫人」の千晴さんといった顔ぶれです。さらに同居こそしていないものの交際を続ける「第4夫人」候補や愛人の女性たちも複数存在しており、常に新しいパートナーの出入りがある流動的な体制が敷かれています。
気になる子どもの人数ですが、同居している妻たちとの間に誕生した子どもに加え、過去の関係や別居中のパートナーとの間に生まれた子どもを合わせると、すでに二桁に迫る勢いを見せています。寝室は日替わりでローテーションを組み、特定の一人だけを贔屓しないよう細心のルールを設けていると語られていますが、女性同士の微妙な感情の揺れや嫉妬をどのように制御しているのかは、常に外部からの注目の的となっています。
