しかし、栄光の頂点は長くは続かなかった。類まれな音楽的才能とは裏腹に、ビジネス面での野心と甘さが彼の歯車を狂わせていく。所属事務所からの独立や自身のプロダクション設立を契機に、次第に不協和音が生じ始めた。
特に彼を追い詰めたのが、私財を投じて推進した「平和の母子像」建立計画や、巨額の資金を投じた多角的な事業展開の頓挫だった。億単位の借金を抱え、金銭トラブルや手形訴訟が週刊誌を賑わすようになる。かつてカーネギーホールを満員にした歌王は、いつしか債権者から追われる身となり、テレビカメラの前から足早に姿を消していった。