インターネット上の言説や歴史ファンの間では、「なぜペリー来航の席で万次郎が直接の全権通訳として前に出なかったのか？」「幕府からスパイとして冷遇されていたのではないか？」という疑問が頻繁に交わされます。当時の公文書や幕府記録から浮かび上がる実態は、非常に生々しい政治的背景を物語っています。
ペリー来航時、万次郎は幕府の老中・阿部正弘から呼び出され、ペリー艦隊の意図やアメリカ合衆国の国情を分析する最高機密顧問として重用されていました。しかし、水戸藩主・徳川斉昭をはじめとする強硬な攘夷派大名たちから「アメリカで教育を受けた万次郎は、敵国に通じるスパイ（間者）ではないか」と強い疑いの目を向けられたのです。
結果として、万次郎がアメリカ側のペリーと直接対面して通訳を行うことは禁じられ、幕府の裏方として米国の書簡翻訳や交渉方針の策定に専念させられることとなりました。しかし、ペリー艦隊が掲げる要求の真意（通商・補給・人道救助）を正確に読み解き、不要な武力衝突を回避させた影の主役が万次郎であったことは、日米両国の外交記録が証明しています。
