2000年代中盤、『ズバリ言うわよ!』（TBS系）や『幸せって何だっけ〜カズカズの宝話〜』（フジテレビ系）で驚異的な視聴率を叩き出し、冠番組を席巻した細木さんですが、2008年に「本業である占業と後継者の育成に専念する」として突如テレビ界からの完全引退を表明しました。
引退後の晩年については様々な憶測が飛び交いましたが、実際の療養生活は家族との時間を最優先にした静かな日常でした。70代後半を迎える頃からは、年齢に伴う体調の変化に加え、軽度の認知症を発症していたことが後にかおりさんの著書やインタビューによって明かされています。
テレビ時代の細木さんは、一切の妥協を許さない鋭い眼光と厳しい言葉で周囲を圧倒していましたが、晩年は表情が劇的に和らぎ、かおりさんの子どもたち（細木さんにとっての孫・ひ孫）と笑顔で食卓を囲む日々を楽しんでいました。かつて全国の視聴者を震え上がらせた「女帝」は、晩年において一人の穏やかな祖母としての時間を全うしていたのです。
