加藤浩次さんとカオリさんの関係を語る上で避けて通れないのが、結婚初期に報じられた週刊誌による女性スキャンダル(浮気報道)です。
結婚から間もない時期、週刊誌によって加藤さんの夜遊びや浮気疑惑が報じられた際、世間は一気に離婚へ進むのではないかと注目しました。しかし、そこで見せたカオリさんの対応は、一般的な芸能人夫婦の枠を大きく超えるものでした。
カオリさんは感情的に加藤さんを責め立てて突き放すのではなく、「公の場でしっかり反省し、仕事で信頼を取り戻しなさい」と毅然とした態度を貫き、家庭の主導権を完全に掌握しました。この出来事を機に、加藤さんは妻に対して頭が上がらなくなり、「妻への絶対的な敬意と感謝」を公言するようになったと当時のバラエティ番組等でも明かされています。