破格の待遇で迎え入れられた伊東甲子太郎でしたが、新選組の内部で過ごすうちに、近藤勇や土方歳三との政治思想の決定的な乖離が浮き彫りになっていきました。近藤や土方はどこまでも徳川幕府を支え続ける「絶対佐幕」の姿勢を貫いていましたが、伊東が目指していたのは朝廷を中心とし、諸藩が協調して国難にあたる「勤皇開国論」でした。
伊東は長防征伐（第二次長州征伐）の中止や、大政奉還を視野に入れた柔軟な国策を説きましたが、幕府の権威に殉じようとする近藤らとは議論が噛み合いませんでした。隊内で自らの思想を実現することが困難であると判断した伊東は、組織を破壊することなく自らの政治勢力を築く合法的な離脱策を画策します。
慶応3年（1867年）3月、孝明天皇の崩御を機に、伊東は「孝明天皇の御陵（後月輪東山陵）を守護し、あわせて薩摩や長州など諸藩の動向を探る」という名目を掲げ、朝廷から御陵衛士（高台寺党）の拝命を取り付けることに成功します。表向きは新選組の出先機関・別動隊としての独立という形をとり、局中法度（「士道不覚悟」「脱走」の禁止）の粛清対象を回避する極めて周到な手腕でした。
この離脱には、実弟の鈴木三樹三郎をはじめ、篠原泰之進、加納鷲雄、毛内有之助、そして新選組の旗揚げ幹部であった八番隊組長・藤堂平助ら合計15名が参加しました。東山の高台寺塔頭・月真院に本拠を構えた御陵衛士は、討幕派の公家や薩摩藩士と公然と交歓し、新選組主流派にとって看過できない強力な政治勢力へと変貌していったのです。
