入水直後、源氏側の武士たちは必死の捜索を開始した。八咫鏡（やたのかがみ）の入った唐櫃（からひつ）は海上に浮かんでいたところを発見され、無事に引き揚げられた。八尺瓊勾玉も箱ごと波間に漂っているところを網ですくい上げられたと伝えられる。比重の関係や箱の密閉性によって、この二つは水没を免れたのだ。
しかし、重い金属製である宝剣は直線的に海底へと沈下した。関門海峡の底は複雑な岩礁と激しい潮流、そして流砂が重なる難所である。当時の技術では、水深数十メートルの暗闇に沈んだ金属塊を回収することは不可能ですらあった。鎌倉幕府は数ヶ月にわたってダイバー（当時の海女や海士）を動員して海底を捜索させたが、ついに剣の消息を掴むことはできなかった。
