バンドマンとしての腕を買われた彼は、リーダーであるいかりや長介率いるザ・ドリフターズへと合流する。昭和の芸能界を牽引した名門・渡辺プロダクションに所属し、本格的に音楽と笑いを融合させたエンターテインメントの道を歩み始めた。
結成当初の裏話として有名なのが、過酷な下積みと徹底された舞台稽古だ。音楽バンドとしてスタートしたドリフだったが、いかりやの緻密な計算と加藤の天性のアドリブ力が噛み合い、コミックバンドとしての才能が爆発。加藤は男前な素顔を崩し、変顔や身体を張ったギャグを披露するギャップで、一気にスターダムへ駆け上がった。