横山裕の生い立ちを語る上で欠かせないのが、複雑な家族構成と過酷な少年時代の記憶です。実の両親は横山裕が3歳の頃に離婚し、その後母親が再婚した相手との間に誕生したのが、6歳年下の次男・勤（つとむ）さんと、8歳年下の三男・充（みつる）さんでした。
義父との関係は極めて厳しく、横山裕だけが冷遇され、祖父母の家や児童養護施設に預けられるなど精神的にも肉体的にも追い詰められた日々を過ごしたことが、本人の手記や過去のドキュメンタリー番組などで赤裸々に明かされています。母親と義父の再度の離婚後、母親の手ひとつで育てられることになりますが、生活は困窮を極めました。
「自分がしっかりして弟たちを守らなければならない」という強い覚悟から、横山裕は中学卒業後に建設会社の現場作業員として就職。同時にオーディションに合格していた関西ジャニーズJr.（当時）の活動と肉体労働を掛け持ちしながら、幼い弟2人の生活費を稼ぎ出すという、現在でいうヤングケアラーとしての役割を自ら背負い込みました。
