石の上にも三年の由来には諸説ありますが、最も広く知られているのが、中国禅宗の開祖である達磨大師（だるまだいし）の「面壁九年（めんぺきくねん）」にまつわる故事です。
6世紀初頭、インドから中国へ渡った達磨大師は、河南省の嵩山少林寺の洞窟において、9年間ひたすら壁に向かって座禅を組み続けました。手足が腐り落ちて萎縮してもなお不動の姿勢を崩さず、ついに悟りを開いたという壮絶な伝説が残されています。この過酷極まる修行の逸話が日本へと伝来する過程で、民衆の生活感覚に根ざした「三年」という象徴的な期間に置き換わり、「石の上にも三年」として定着したとされています。
加えて、比叡山延暦寺の「千日回峰行」に代表される天台宗や修験道の山岳修行も有力な背景と目されています。険しい山中を毎日巡礼する荒行の第一段階である「籠山（ろうざん）三年」では、厳しい自然界の岩座に座して精神を練磨します。人智を超えた自然や過酷な環境に対し、己の全存在を賭して対峙し続けた修道者たちのリアリティが、この言葉に強烈な説得力を与えてきたのです。
