布袋氏の浮気・不倫スキャンダルにおいて、最も世論の反発を買ったのが2004年6月に報じられた高岡早紀氏との密会事件です。女性セブンなどの週刊誌に掲載された写真は、西麻布のバーで堂々と指を絡め合う手つなぎ姿や、カウンターで体を寄せ合って交わされた情熱的なキスの瞬間を克明に捉えていました。
当時、高岡早紀氏は俳優の保坂尚希（現・保阪尚希）氏と婚姻関係にあり、布袋氏も今井美樹氏と結婚してわずか数年、長女が誕生したばかりの時期でした。ダブル不倫の決定的な証拠を突きつけられた布袋氏は、公式ホームページ上で「火遊びが過ぎた」という表現を用いた謝罪コメントを発表します。
しかし、この「火遊び」という言葉選びが、保坂氏サイドおよび世間の感情を決定的に逆撫でしました。保坂氏は直後に単独記者会見を開き、沈痛かつ理路整然とした口調で「妻を責める気はないが、家庭を壊された」「火遊びという言葉で片付けられる問題ではない」と強い怒りと無念さを表明。結果として保坂氏と高岡氏はスピード離婚に至り、高岡・保坂夫妻の離婚の直接的引き金を布袋氏が引いた形となりました。
