2000年代半ば、『ズバリ言うわよ!』(TBS系)や『幸せって何だっけ 〜カズカズの宝話〜』(フジテレビ系)など、数々の高視聴率番組を牽引した細木氏でしたが、2008年3月をもって突如としてすべてのレギュラー番組を降板し、事実上の芸能界引退状態となりました。
当時、細木氏本人は記者会見等で「六星占術の原典に立ち返り、本業の勉強と後継者の育成に専念するため」と降板の理由を説明しました。しかし、民放キー局幹部や制作現場の証言を総合すると、撤退の引き金を引いたのは週刊現代の追及報道によるスポンサー離れと、急速に進展したテレビ局のコンプライアンス(法令順守)強化の波でした。
2000年代後半は、全国の自治体で暴力団排除条例の制定に向けた議論が本格化し、企業やメディアに対して反社会的勢力との関係遮断が厳格に求められ始めた時期でした。スポンサー企業からのクレームや局内のコンプライアンス委員会による調査が進む中、局側としては「これ以上の継続起用は企業リスクが高すぎる」と判断せざるを得ず、事実上の“肩たたき”が行われたというのが現場の定説となっています。