このことわざの由来には諸説あるが、最も広く知られているのが禅宗の開祖である達磨大師(だるまだいし)にまつわる伝説だ。達磨大師が中国の崇山少林寺で壁に向かって9年間座禅を続け、手足が腐り落ちてもなお悟りを開いたという「面壁九年」の故事が、日本の民間伝承や日本文学の中で「三年」へと変容し、石の比喩と結びついたという説が根強い。
また、厳しい修行に明け暮れた修験道や密教の行者が、冷たい巨石の上で座禅を組み続けた情景から生まれたとする説もある。いずれにせよ、ここで語られる「三年」とは暦通りの正確な365日×3ではなく、「ある程度のまとまった習熟期間」「一通りの季節を巡るほどの時間」を象徴する抽象的な数字である点を見逃してはならない。