言葉の由来は、日本の昔話や民話に登場する「鬼」のビジュアルと密接に結びついています。古来、鬼は超人的な怪力と鋼のような肉体を持つ恐ろしい怪物として描かれてきました。素手であっても人間など到底歯が立たない圧倒的な存在です。
その鬼が手にする「金棒」とは、鉄で作られた頑丈な打撃武器である「金砕棒（かなさいぼう）」を指します。突起のついた硬い鉄の棒を怪力無双の鬼が振り回せば、もはや誰も太刀打ちできません。「ただでさえ無敵の怪物に、破壊力抜群の鉄の武器を持たせる」という情景から、この慣用句が生まれました。
江戸時代中期には庶民の間で広く定着し、上方いろはかるたの「お」の句にも「鬼に金棒」が採用されるなど、日本人の共通認識として長く愛され続けています。
