義家の晩年は決して平穏ではなかった。弟・義綱との不和や、次男・義親の反乱など、身内の内紛が相次ぎ、河内源氏の勢力は一時的に失速を余儀なくされる。しかし、彼が遺した精神的遺産は死後、数十年を経て爆発的な威力を発揮することになる。
その最大の受益者が、玄孫にあたる源頼朝だ。頼朝が伊豆で挙兵した際、東国の武士たちが続々と馳せ参じた最大の動機は「あの八幡太郎の嫡流である」という血脈の求心力だった。義家が私財を投じて武士たちの生活と名誉を守った記憶は、東国の地で神話的な記憶として語り継がれていた。
頼朝は鎌倉の地に鶴岡八幡宮を鎮座させ、自らを義家の正統な継承者として位置づけることで、荒々しい坂東武者たちを統率する絶対的な権威を手に入れた。鎌倉幕府の根底に流れる「御恩と奉公」の原型は、朝廷に拒絶されながらも武士の意地を貫いた義家の生き様そのものだったと言える。