堀尾正明のメディア出演が急減した直接の契機となったのが、2019年6月に『週刊新潮』が報じた女性問題でした。当時、TBS系の朝の情報番組『ビビット』でコメンテーターを務めていた堀尾正明に対し、「50代のシングルマザー女性宅へ頻繁に通い、宿泊している」というスクープが掲載されたのです。
報道直後、堀尾正明は自身が出演する『ビビット』の生放送内で自ら騒動に言及しました。「女性の相談相手として親身になっていた」「家族同然の付き合いで、肉体関係は一切ない」と不倫関係を明確に否定しつつも、「軽率な行動によって相手の家族や自身の家族、視聴者に誤解と不信感を与えてしまった」と涙ながらに謝罪しました。
しかし、朝の情報番組や報道番組においてキャスターに求められるのは、清廉性と高い倫理観です。釈明内容の真偽にかかわらず、「既婚者でありながら他人の家庭に泊まり込む」という行動自体が、視聴者層に強い違和感を残す結果となりました。この騒動から数カ月後の2019年9月、『ビビット』は番組自体のリニューアル・終了を迎え、堀尾正明の地上波帯番組でのレギュラー出演は事実上途絶えることとなりました。これが堀尾正明の降板理由における決定的な分岐点です。