2000年代半ば、レギュラー番組で視聴率20%超を連発していた細木氏が、突如としてすべてのレギュラー番組を降板したのが2008年のことでした。当時、「本業である鑑定業や勉強に専念するため」と説明されましたが、メディア露出が途絶えて以降、週刊誌上では定期的に健康不安説が囁かれることになります。
特に2010年代半ばから後半にかけて、週刊誌のグラビアやネットメディアに掲載された近影は世間に大きな衝撃を与えました。テレビ出演時のふくよかで威風堂々とした体躯から一転し、頬がこけ、車いすに乗る姿が「激やせ」「認知症の疑い」「重病で療養中」といった見出しとともに報じられたためです。
しかし、関係者の証言や当時の生活記録を精査すると、ネット上で噂された重篤な悪性腫瘍などの事実はありませんでした。痩身の主因は、70代後半から80代を迎えたことによる加齢性の筋肉減少（サルコペニア）と、定期的な点滴治療を含む食生活の細まりにありました。本人は自著や親族への言葉のなかで、自らの六星占術に基づく「運気の周期」や寿命を強く意識しており、晩年は無理な食事制限ではなく、自然な身体の衰退を受け入れながら静かに暮らしていたことが分かっています。
