石の宝殿の起源を巡っては、神話に基づく宗教的伝承と、考古学的な土木史観の二つの視点が存在します。
神社の社伝および『播磨国風土記』の記述によると、神代の昔、大穴牟遅命（オオクニヌシノミコト）と少彦名命（スクナビコナノミコト）の二神が出雲からこの地に訪れ、国土開発のために一夜にして壮大な石の宮殿を造営しようとしました。しかし、途中で阿閇津（あへつ）の泊にいた地方の神が反乱を起こしたため、二神は造営を中断して鎮圧に向かいます。乱を平定した頃には夜が明けてしまい、宮殿は横倒しの未完成のまま残されたと伝えられています。
一方、近現代の考古学調査では、この一帯が高名な古代の石材「竜山石（たつやまいし）」の産地である点に着目されています。竜山石は加工しやすく耐久性に優れるため、古墳時代前期から大和王権の大王墓（仁徳天皇陵など）をはじめとする巨大前方後円墳の石棺材として広く利用されてきました。
一部の研究者は、大王クラスの石棺や巨大石造物を切り出す過程で何らかの理由により放棄された遺構ではないかと推測しています。しかし、背面の謎めいた三角突起の加工精度や、巨石そのものを社殿の奥に安置して崇拝対象とした特異性から、「単なる採石放棄地ではなく、古代の磐座（いわくら）祭祀として意図的に造作された聖域である」とする見解も根強く支持されています。
