連載報道と法廷闘争の泥沼化は、テレビ局の制作現場に決定的な打撃を与えました。当時、TBS系『ズバリ言うわよ!』やフジテレビ系『幸せって何だっけ 〜カズカズの宝話〜』など、冠番組を複数抱えていた細木氏ですが、週刊誌の追及が続くにつれてナショナルクライアントをはじめとする番組スポンサーが難色を示し始めます。
表向きには「六星占術の継承者を育てる勉強に専念するため」「本業に専念する」という理由が掲げられ、2008年3月をもってすべてのレギュラー番組を降板。しかし、その内情は事実上のテレビ界からの追放・引退でした。当時、テレビ業界全体が暴力団排除へ向けたコンプライアンス基準を急速に引き上げていた時期と重なり、局側としても「これ以上使い続けることは企業防衛上リスクが高すぎる」と判断せざるを得ない状況に追い込まれていたのです。
細木氏と抜群の掛け合いを見せ、番組で共演を重ねていた島田紳助氏との関係も、この時期の芸能界のパワーバランスを象徴していました。後に紳助氏自身も暴力団関係者との交際が発覚して芸能界を電撃引退することになりますが、当時の芸能界には昭和の興行文化に根ざした「裏社会とのグレーな距離感」が色濃く残っており、細木氏の失脚はその歪みが一気に噴出した最初の契機となりました。