源義家は長暦3年(1039年)、河内源氏の祖である源頼義の長男として、河内国古市郡壺井(現在の大阪府羽曳野市壺井)の館で生を受けました。幼名は不動丸、あるいは源太丸と呼ばれていました。
通称となった「八幡太郎」の由来は極めて明快です。義家が7歳の春、河内源氏が氏神として篤く信仰していた山城国の石清水八幡宮で元服(成人儀礼)を行ったことにあります。武神である八幡神の前で元服した「長男(太郎)」であることから、自らを八幡太郎と名乗るようになりました。なお、弟たちも同様に元服した場所にちなみ、次男の義綱は「鴨次郎(賀茂神社)」、三男の義光は「新羅三郎(新羅明神)」と称しています。
母は関東の大豪族であった平直方の娘です。この婚姻関係こそが、河内源氏が関東(坂東)の武士団と強固な主従関係を結ぶ決定的な基盤となりました。義家は生まれながらにして、武神の神威・河内源氏の軍事力・坂東平氏の地盤という三位一体の強烈なバックボーンを背負っていたのです。