吉野さんとの出会いは桜井さんを精神的な窮地から救った一方、倫理的には極めて深刻な問題を孕んでいました。当時、桜井さんには1994年に結婚した前妻・ゆかりさんと、生まれたばかりの長女がいたためです。
元妻のゆかりさんは、トイズファクトリーの元社員で、ミスチルがまだ無名だった下積み時代から彼らを物心両面で支え続けた「最大の恩人」でした。ファンにとっても象徴的な存在だった元妻を裏切る形となったため、1997年に写真週刊誌『FOCUS』で吉野さんとの不倫同棲スクープが報じられると、世間から猛烈な非難を浴びることになります。
報道後、前妻との離婚調停は難航を極めましたが、桜井さんが多額の慰謝料と養育費を支払う条件で2000年5月に離婚が正式成立。そのわずか1か月後の2000年6月に吉野美佳さんと電撃再婚を発表しました。あまりにスピーディーな再婚は「略奪婚」としてワイドショーを連日騒がせ、桜井さんのクリーンなイメージは一時大きく傷つくこととなりました。