公私をきっちり分けることで知られる玉山鉄二ですが、その私生活も非常に穏やかで順調です。2012年2月14日のバレンタインデーに一般女性との結婚を発表。お相手は女優の杏に似たスレンダーな美女と報じられ、共通の知人を介した食事会で意気投合し、交際から半年ほどでのスピード婚となりました。
家庭内での玉山鉄二は、良き夫であり愛情深い父親です。同年の2012年8月に第1子となる長男、そして2016年冬には第2子となる長女が誕生しており、現在は2児のパパとして子育てに励んでいます。
オフの日には子供たちと公園で遊んだり、家族でアウトドアを楽しんだりする姿が週刊誌等で報じられたこともあります。派手な夜遊びやスキャンダルとは無縁で、家族を守る頼もしい大黒柱としての生き方が、俳優としての重厚な演技にも深みを与えています。