埼玉県川越市郭町に鎮座する三芳野神社（みよしのじんじゃ）。「川越城の鎮守」として名高いこの神社こそが、『通りゃんせ』発祥の地として広く知られています。太田道灌による川越城築城以来、城の敷地内に神社が取り込まれたため、庶民にとって三芳野神社は「城の郭内（敷地内）奥深くに位置する聖域」となりました。
平素は一般人の立ち入りが厳重に禁じられていましたが、徳川幕府の時代、天神信仰に篤い庶民のために年に一度の大祭や「七歳のお祝い（七五三参り）」の日に限り、一般庶民の城内通行が特別に許可されていました。これが歌詞にある「天神さまの細道」です。
しかし、そこは歴代の重臣が治める軍事要衝・川越城の心臓部です。門番の武士たちにとって、見知らぬ町人や農民が城内に入り込むことは、機密漏洩の重大なリスクを意味していました。
当時の記録資料や地元保存会の伝承によると、参拝に向かう庶民に対しては「城主の温情による特別拝観」であるため、行きの手荷物改めは比較的簡易に済まされました。怪しまれずにすんなり通されるため、「行きはよいよい」と安堵します。
問題は参拝を終えた後の「帰り道」でした。門番たちは、参拝者が城内の見取り図や軍事配置を記した密書、あるいは城内の備品や財物を懐に隠し持っていないか、極めて厳しい身体検査を実施したのです。もし少しでも挙動不審な点があれば、その場で別室へ連行され、間者（スパイ）の容疑で拷問や厳しい取り調べを受ける危険がありました。
無実の町民であっても、些細な手違いや誤解で命を落としかねない極度の緊張感。「無事に城門を出るまでは生きた心地がしない」という当時の庶民の生々しい恐怖体験が、「行きはよいよい 帰りはこわい」という切実なフレーズとして定着していったのです。
