盤石に見えた高吉の将来は、慶長6年（1601年）に暗転します。高虎に待望の実子・藤堂高次（こうじ）が誕生したのです。武家社会において実子の誕生は後継者争いの火種となるのが常ですが、高吉の場合はさらに政治的要請が複雑に絡み合っていました。これこそが、現代の歴史研究でも注目される家督相続の真相です。
最大の障壁となったのは、皮肉にも高吉自身の輝かしい出自でした。「豊臣秀吉の元養子」であり「織田一門の血を引く名門の子」である高吉が藤堂家の本家当主となれば、豊臣色の一掃と大名の改易を進める徳川家康・秀忠政権から極度の警戒を招く危険がありました。高虎は冷徹な現実主義者として、徳川の天下で藤堂家を生き残らせるためには、実子かつ徳川政権下で生まれた高次を跡継ぎに据えるしかないと判断せざるを得なかったのです。
高虎自身は高吉を疎んじていたわけではなく、幕府に対して「高吉に別家を立てさせ、独立した大名として取り立ててほしい」と幾度も働きかけを行いました。しかし、高吉の卓越した器量と人望を警戒した徳川幕府はこれを拒否します。結果として高吉は「大名」ではなく「津藩の一家臣」という中途半端な立場に据え置かれることになりました。
寛永7年（1630年）に高虎が没すると、新藩主となった高次と高吉の亀裂は修復不可能な段階に達します。家中には依然として高吉を慕う古参の家臣が多く、高次派から見れば高吉は自らの地位を脅かす最大の政敵でした。寛永9年（1632年）、高次は高吉に対し、長年治めてきた今治から伊賀名張への配置転換を命じます。これがいわゆる名張移封の理由です。瀬戸内海の要衝である今治の軍権を奪い、津藩本藩の手元（伊賀国）に引き戻して日常的な監視下に置く――体面こそ「伊賀警備の要衝への配置」と繕われましたが、実質的には高吉の勢力を削ぎ落とすための冷徹な左遷人事でした。
