横山裕が母親に対して抱いていた感情は、単なる「親子の情愛」にとどまりません。そこには、幼少期から思春期にかけて直面した家庭崩壊と極貧の歴史が色濃く影を落としています。
横山の実父と母親は、彼がわずか3歳の頃に離婚しました。その後、母親は別の男性と再婚し、家庭を築き直そうと試みます。この再婚によって誕生したのが、横山とは父親違いとなる2人の弟たち(6歳下、8歳下)でした。
しかし、再婚相手である義父との生活は過酷を極めました。横山だけが血の繋がっていない子どもであったため、義父との確執は深刻化し、幼い横山に対して日常的な暴力が向けられるようになります。本人が過去の特別インタビューやメディアで述懐したところによると、理不尽な理由で物差しや棒で殴打されるなど、身体的・精神的な虐待が繰り返されていました。
母親は義父を恐れ、時には子どもたちを守りきれない場面もあり、横山は一時的に母方の祖父母の家に引き取られて育ちました。しかし、最愛の祖父が病に倒れると再び実家へ戻らざるを得ず、家庭環境はさらに困窮。生活保護を受ける寸前の極貧状態が続き、一時は弟たちとともに児童養護施設へ入所する寸前まで追い詰められていました。