栄光の絶頂から一転、彼を待ち受けていたのは過酷な運命だった。引退後に花籠部屋を継承したものの、親族の金銭トラブルに巻き込まれ、あろうことか年寄名跡を借金の担保に供するという前代未聞の事態を引き起こす。この不祥事により、日本相撲協会からの退職を余儀なくされ、事実上の角界追放という屈辱を味わうこととなった。
すべてを失った男に救いの手を差し伸べたのが、全日本プロレスを率いるジャイアント馬場だった。38歳という高齢でのプロレス転向。世間からは冷ややかな視線と激しいバッシングが浴びせられたが、輪島は黄色いタイツに身を包み、アメリカでの過酷な武者修行を経てリングに立った。プライドを捨て、泥臭くリング上を転がり続けるその姿は、かつての横綱が見せた最後の執念だった。