栗山氏の私生活を語る上で欠かせないのが、北海道夕張郡栗山町にある自宅兼プライベート施設「栗の樹ファーム」です。
1998年、自身の名字と同じ名前である栗山町に縁を感じた栗山氏は、広大な土地を取得。自らの手で木を植え、土を耕し、少年野球ができる天然芝の野球場やログハウスを建設しました。ここには、メジャーリーグや日本プロ野球の歴史を物語る貴重なバット、ユニフォーム、ボールなどのコレクションが展示され、一般にも無料で開放されています。
現在の栗山氏の暮らしは、極めて質素かつストイックです。朝は敷地内の手入れや草刈りを行い、膨大な蔵書に囲まれた書斎で思索や執筆に励みます。町民との交流も深く、地元の祭りやイベントには一人の住民として自然体で参加しています。豪華な高級タワーマンションで暮らす一般的なスポーツセレブとは対照的に、自然と調和したスローライフを実践しています。