絶頂期を誇った『ズバリ言うわよ！』でしたが、2008年3月11日の放送をもって静かにレギュラー放送を終了しました。同時期にフジテレビのレギュラー番組も幕を閉じており、細木氏は地上波テレビの第一線から一斉に姿を消す形となりました。この突然の番組終了には、表向きの発表と業界内でささやかれた複数の要因が存在します。
公の発表において細木氏は、「本業である六星占術の勉強や後継者の育成に専念したい」「一度立ち止まり、人生の充電期間を取りたい」と説明しました。数年間におよぶ過密なテレビ出演スケジュールにより、執筆活動や鑑定業といった本来の領分が圧迫されていたのは紛れもない事実です。
一方で、テレビ関係者の証言や当時の報道資料を検証すると、制作の舞台裏には別の力学も働いていました。最大の契機となったのは、ジャーナリスト・溝口敦氏による『週刊文春』での長期連載です。過去の金銭トラブルや霊感商法をめぐる疑惑、墓石販売に関する追及報道が過熱し、スポンサー企業が番組提供に慎重姿勢を示し始めました。加えて、放送倫理・番組向上機構（BPO）に対して「恐怖心を煽って不安に陥れるような鑑定手法は問題ではないか」という視聴者意見が寄せられるようになり、局内のコンプライアンス基準が急速に厳格化していった時期と重なります。
さらに、最盛期には20％を超えていた視聴率も、番組末期には10％〜12％前後へと落ち着きを見せていました。1本数千万円とも言われた巨額の番組制作費や細木氏への高額なギャラと、費用対効果のバランスが崩れ始めたことも、TBS局上層部が契約延長を見送る決定打となったと報じられています。最終回は派手な演出もなく、過去の名場面を振り返るダイジェストを中心に淡々と終了を迎えました。
