山際氏に対する世論の評価が大きく暗転した契機が、2022年夏以降に表面化した旧統一教会（現・世界平和統一家庭連合）との関係性問題でした。安倍元首相の銃撃事件以降、政界と教団の関わりが厳しく追及される中、山際氏には関連団体イベントへの出席や教団幹部との接触に関する報道が相次ぎました。
報道陣の取材に対して当初「記憶にない」「資料が残っていない」と回答しながら、写真や記録などの客観的証拠が報じられるたびに「確認したところ事実だった」と追認する会見が繰り返されました。当時の報道各社による世論調査でも、この「小出し・後出し」と映る一連の対応に対して国民の不満が急激に高まる結果となりました。
公の場で見せた表情の翳りや歯切れの悪い答弁は、国会論戦でも野党からの集中砲火を浴びる要因となり、内閣支持率急落の最大の引き金と目される事態に発展。2022年10月24日、臨時国会における予算委員会審議への影響を避ける名目で経済再生担当相を辞任（事実上の更迭）することとなりました。
