仁右衛門島の最大の魅力は、豊かな自然美だけでなく、中世から受け継がれてきた重厚な歴史ロマンにあります。島名の由来となった所有者・平野仁右衛門氏は、平安末期から続く旧家であり、代々当主が「仁右衛門」の名を襲名してきました。
特に名高いのが、治承4年（1180年）の「石橋山の戦い」に敗れて安房へ逃れた源頼朝にまつわる伝説です。島主であった平野仁右衛門は、追手を逃れてきた頼朝を島内の海食洞窟に匿い、手厚くもてなしました。後に天下を獲った頼朝はその大恩に報いるため、平野家に島一円の所有権と漁業権を認め、平野姓を名乗ることを許したと伝えられています。
現在でも島内には、頼朝が潜伏したとされる「頼朝の隠れ穴」が当時の荒々しい岩肌のまま残されており、歴史ファン必見のスポットとなっています。また、日蓮上人が朝日を拝して祈りを捧げたとされる「神楽岩（かぐらいわ）」や、松尾芭蕉・正岡子規・若山牧水といった文人墨客が訪れて詠んだ歌碑・句碑が点在しており、島内を1周（約30分〜45分）散策するだけでも濃厚な歴史散歩が楽しめます。
