元治元年（1864年）秋、近藤勇が江戸で隊士募集を行った際、伊東は門弟や弟の鈴木三樹三郎らを率いて新選組への参加を決意します。近藤と土方は、伊東の入隊を熱狂的に歓迎しました。
当時、池田屋事件や禁門の変を経て京都での武名を高めていた新選組でしたが、隊士の多くは武術一辺倒の荒くれ者でした。幕府や京都守護職・会津藩との政治的折衝、朝廷対策、さらには隊内の規律強化や隊士教育を担える「高度な政治的頭脳」と「対外的な顔」を新選組は渇望していたのです。
入隊直後、伊東には参謀兼文学師範という幹部待遇が与えられました。これは局長の近藤、副長の土方に次ぐ極めて高い序列です。伊東は隊士たちに漢学や兵学を教える傍ら、近藤の政治的ブレーンとして対外工作に奔走し、武力集団に過ぎなかった新選組を近代的な軍事・政治結社へと押し上げる役割を果たしました。
