テレビからナベアツが姿を消した背景には、芸能界の過酷な賞味期限と、表現者としての葛藤がありました。本人が当時のインタビューや手記で明かしたところによると、ブレイクの絶頂期にあっても「テレビバラエティにおける自分のキャラクター消費のスピードに対する強い危機感」を抱いていたといいます。
どれほどウケても、テレビのひな壇では一瞬のインパクトで消費されていく。40歳を手前にした渡辺は、「60代、70代になっても自らの身体ひとつ、自作の話術ひとつで観客を笑わせ続けられる一生モノの芸を持ちたい」という強烈な渇望を抱くようになりました。その終着駅こそが、かねてより憧れを抱いていた「落語」の世界だったのです。
2011年、41歳という年齢で彼は一大決断を下します。上方落語界の重鎮であり、新作落語の旗手でもある桂三枝（現・六代 桂文枝）の楽屋を訪ね、直談判で弟子入りを志願しました。三枝師匠は彼の並々ならぬ熱意と覚悟を認め、弟子入りを快諾。ジャリズムは再び解散し、世界のナベアツという輝かしい芸名を完全に捨て去りました。
2012年には、師匠の「三」と、ナベアツ時代の代名詞である「3」、そして「三度目の正直」の意味を込めた「桂三度」の高座名を拝命。ここから、かつての売れっ子タレントが20代の若手入り混じる前座修行に身を投じる、過酷な修行の日々が始まりました。
