このことわざが成立した背景には、日本古来の自然観と風流を重んじる美意識が深く関わっています。語源となっているのは、木々が葉を落とし尽くした冬の山林の情景です。
青々とした緑や美しい紅葉に彩られた山に比べれば、葉のない「枯れ木」は何の役にも立たず、見栄えも決して良くありません。しかし、完全に樹木が一本もない禿山(はげやま)と比べた場合、たとえ枯れ木であっても数本立っていれば、山特有の寒々とした風情や趣を添える役割は果たしています。「完全な無」であるよりは、たとえ無価値に見える枯れ木であっても「ないよりはましな景観の足し」になっているという観察から、この比喩表現が生まれました。
江戸時代の庶民文化や上方いろはかるたなどにも通じるこの思想は、自分自身を徹底的にへりくだり、控えめに振る舞うことを美徳とした日本人の言語心理と強く結びついています。古くから「高齢者が若者の集まりに遠慮がちに参加する際の謙遜」として用いられてきた歴史があり、決して他人の価値を品評するための言葉ではなかったのです。