中世の武家信仰の舞台となっただけでなく、近代日本文学においてもこの神社は決定的な役割を果たした。ノーベル文学賞作家・川端康成は、まさにこの神社のすぐ隣に居を構え、数々の名作を執筆したことで知られている。
川端の代表作の一つである長編小説『山の音』。主人公の尾形信吾が深夜、裏山から響いてくる不気味な地鳴りのような「山の音」を聞き、自らの老いと死期を予感する印象的な場面は、この神社の裏山である甘縄山を舞台に着想された。木々の葉が風に擦れ合う微かなざわめきに耳を澄ませていると、川端が捉えた幽玄な感覚がそのまま蘇ってくる。