細木氏の人間関係を紐解く上で、戦後昭和のアウトロー社会との交錯は避けて通れません。東京・渋谷のカフェ「夜の窓」を営む母のもとに生まれた細木氏は、若くして夜の世界に身を投じ、銀座に高級クラブ「姫」などを出店して頭角を現しました。
その過程で深く関わったのが、戦後最大の愚連隊から暴力団へと発展した「安藤組」の創設者・安藤昇氏でした。細木氏は安藤氏をはじめとする幹部たちと親密な関係を築き、夜の社交場を通じて裏社会と政財界の橋渡し役を演じるようになります。また、政財界のフィクサーとして知られた笹川良一氏や、右翼の大物たちとも交流を持ったと公言していました。
細木氏の過去の経歴において、こうした人脈は単なる客とホステスの関係にとどまりませんでした。紛争の仲介や資金調達、土地取引など、グレーな利権が渦巻く現場で「修羅場をくぐり抜けてきた経験」こそが、後にテレビで見せる居丈高な態度や凄みの源泉となっていたことは、当時の関係者の多くが一致して指摘するところです。