世間が最も強い関心を寄せるのが、「現在、妻と子供は何人いるのか」という家族構成の内訳です。渡部氏は日本の法律上の重婚禁止規定（民法732条）を回避するため、法的な婚姻届を一度に複数提出することはせず、「事実婚の妻」という形で共同生活を築いています。
共同生活の中心となっているのは、以下の体制です。
・第1夫人（陽咲さん）：家庭を取りまとめるリーダー的存在
・第2夫人（彩花さん）：渡部氏の活動を初期から支えるパートナー
・第3夫人（千晴さん）：共同生活に途中合流したメンバー
・第4夫人・交際相手（彼女たち）：別居中または将来の同居を見据えて交際中の女性複数人
妻の人数は同居・別居を含めて常時4名前後、さらに外部に交際相手（愛人・彼女）が複数人存在します。また、子供の人数については、元妻との間の子を含め既に10人以上が存在しており、同居する妻たちとの間でも次々と新しい命が誕生しています。
渡部氏が掲げる究極の目標は、「江戸幕府第11代将軍・徳川家斉（子供53人）を超える、54人の子供を作ること」。少子化が進む日本において、前代未聞のペースで家族を増やし続けています。
