細木数子氏の結婚歴を語る上で欠かせないのが、若き日の最初の結婚と、晩年に社会的な大騒動となった陽明学者・安岡正篤氏との関係だ。彼女は20代前半の折、自ら経営していたクラブの客であった一般男性と一度目の結婚を果たしている。しかし、この婚姻生活はわずか3か月ほどで破綻。実質的な夫婦生活は極めて短いものだったとされる。
そして最大の波乱となったのが、1983年に持ち上がった安岡正篤氏との「再婚・養子縁組騒動」だ。当時80代後半で政財界のご破算劇を裏で仕切るフィクサーと目されていた安岡氏に対し、細木氏は急速に接近。婚姻届を提出したものの、安岡氏の親族や側近からは「認知症状態に乗じた無効な婚姻」として激しい猛反発が巻き起こった。裁判闘争の末、安岡氏の死去直前に婚姻は調停無効となり、戸籍上の正式な夫としての記録は抹消されることとなった。