細木氏の過去を語る上で欠かせないもう一つの暗部が、昭和の国民的歌手・故島倉千代子さんとの間で繰り広げられた壮絶なトラブルです。島倉さんは他人の手形保証人になったことから十数億円にのぼる莫大な借金を背負い、破滅の危機に瀕していました。そこに「救世主」として現れたのが細木氏でした。
細木氏は自らの人脈と資金力を生かして島倉さんの債務整理に介入し、実質的な後援会長兼プロデューサーの座に就きました。しかし、借金肩代わりの見返りとして島倉さんの興行権や版権を一手に握り、過密な地方巡業を強いるなど徹底的に管理下に置きました。当時の関係者の証言によると、島倉さんは細木氏の意向に逆らうことが許されず、ステージ衣装や私生活に至るまで私物化される精神的束縛を受けていたとされています。
結局、金銭の分配やマネジメント方針を巡って両者は激しく対立。島倉さんは命からがら細木氏のもとを離れ、最終的には絶縁状態となりました。後年、島倉さんが自著や手記で語った「恩人でありながら、同時に最も恐ろしい存在だった」という回想は、細木氏の持つ支配欲と非情なビジネス感覚を物語る証拠として、芸能史に深く刻まれています。