このことわざのルーツをたどると、日本の民俗信仰や仏教説話に行き着きます。古来、仏教における「鬼」は、地獄で亡者を苛む獄卒（ごくそつ）や、人間に害をなす羅刹（らせつ）など、情け容赦のない絶対的な恐怖の象徴として描かれてきました。
しかし、仏教美術や説話集の中には、恐ろしい形相の鬼が仏の教えに触れ、犯した罪の重さに後悔の涙を流したり、衆生の苦しみに慈悲の心を目覚めさせたりする描写が数多く残されています。代表的な例として知られるのが「大津絵」に描かれる『鬼の念仏』です。鬼が僧衣をまとい、念仏を唱えながら涙を浮かべる姿は、「どれほど邪悪で冷酷な存在であっても、仏性（仏になれる心）を宿している」という仏教的救済観を視覚化したものとされています。
つまり、「鬼の目にも涙」という表現は、単に相手を揶揄する言葉ではなく、「どんな頑固な人間にも人間らしい温かい心が宿っている」という人間観察の深さから生まれた表現なのです。
