八栗寺の起源は、延暦年間（782〜806年）に若き日の弘法大師空海が五剣山で修行を行い、五本の剣を山頂に埋めて鎮護としたことに始まります。唐へ留学する直前、空海は自らの渡航の成否を占うため八つの焼き栗を植え、無事に帰国した際にそれらが見事に芽吹いていたことから「八栗寺」と改名されたという伝説が残されています。
かつて五剣山は文字通り5つの鋭い峰が連なっていましたが、江戸中期の1707年に発生した宝永地震（歴史的巨大地震）により、東端の第五峰が大崩落を起こしました。この天変地異によって現在の「4つの峰と崩落崖」という荒々しい山容が形成されました。
山肌に残る激しい断崖絶壁は、自然の猛威と悠久の歳月を今に伝えるモニュメントであり、信仰の場としての厳格さを際立たせる象徴となっています。
