やがて母親と義父は離婚し、母は女手一つで3人の男児を育てることになります。しかし、母子家庭の現実は厳しく、生活は困窮を極めました。水で極限まで薄めたカルピスを兄弟で分け合い、具のないインスタントラーメンで空腹を紛らわせるなど、壮絶な貧困生活を余儀なくされます。
長男である横山裕は、家族を支えるために大きな決断を下します。中学卒業後は高校へ進学せず、建設会社に就職して配管工や鳶職などの過酷な肉体労働に従事する道を選びました。朝早くから作業着に身を包んで建設現場で汗を流し、稼いだ給与のほとんどを家族の生活費に充てていたのです。すでにジャニーズ事務所（現・STARTO ENTERTAINMENT）に入所して活動を始めていた時期でもありましたが、芸能界一本に絞る余裕はなく、現場作業とレッスンや舞台を両立させる日々が続きました。
横山裕には、6歳下の次男と8歳下の三男という年の離れた弟がいます。自分が高校へ通えなかった悔しさを弟たちに味わわせたくないという一心から、彼は弟たちの進学費用を全面的に支援することを決意します。次男の専門学校の学費、そして三男の私立大学進学や国家資格取得に関わる費用まで、数百万円規模に及ぶ学費を横山裕が全額負担しました。自身がかつて父親から受け取れなかった無償の愛情と責任を、今度は自分が「父親代わり」となって幼い弟たちへと注ぎ込んだのです。
