八栗寺の起源は、平安時代初期の天長6年（829年）に遡ります。唐へ留学する前の弘法大師空海が五剣山の頂上に登り、求聞持法（記憶力を高める修行）を修めた際、天から5本の利剣が降りてきて山霊が神託を告げたことから「五剣山」と名付けられました。
寺号の「八栗」には、弘法大師にまつわる有名な伝承が残されています。入唐に先立ち、大師が修行の成功と密教の将来を占うため8つの焼き栗をこの地に植えました。無事に帰国を果たして再び訪れると、焼かれていたはずの8つの栗がすべて芽吹き、大木に育っていたと伝えられます。この奇跡に歓喜した大師が、それまでの「八国寺」から「八栗寺」へと寺号を改めました。
かつて五剣山はその名の通り、鋭く尖った5つの岩峰が天を突くように並んでいました。しかし、宝永4年（1707年）に発生した宝永大地震によって東側の第5峰が激しく崩落。現在見られる4つの岩峰が連なる独特の景観へと姿を変えました。庵治石（あじいし）の産地としても名高い高松市牟礼町のダイナミックな地質と、大師信仰の神秘が融合した唯一無二のロケーションです。
