赤沢亮正氏の家族構成は、赤沢亮正氏本人、妻、そして長男と長女の4人家族です。子供たちはすでに成人しており、自立した道を歩んでいることが伝えられています。
赤沢氏自身のルーツを振り返ると、祖父は元内務官僚で自治大臣・国家公安委員会委員長を務めた赤沢正道氏という政治家家系にあります。そのため「妻の実家も政財界の大物一族ではないか」という関心が持たれがちですが、これまでに大規模な政略結婚を裏付ける決定的な報道や資料は確認されていません。関係筋の証言を総合すると、伝統ある良家・文化人の家系であり、堅実で良識的な家庭環境で育ったことがうかがえます。
夫妻の馴れ初めについては、赤沢氏が旧運輸省に勤務していた官僚時代に出会ったとされています。当時の運輸省は航空、鉄道、港湾など国家インフラの根幹を担い、深夜に及ぶ政策立案や国会答弁作成に追われる過酷な職場でした。さらに赤沢氏は30代で米国コーネル大学大学院へ留学し、経営学修士（MBA）を取得するというハードなキャリアパスを歩んでいます。
この多忙を極めた官僚時代、そして2005年のいわゆる「郵政解散」選挙で自民党公認として鳥取2区から急遽出馬した際も、妻は動揺することなく決意を後押ししたと語られています。突然の落下傘とも言える選挙戦において、縁もゆかりもない地元に飛び込み、夫とともに頭を下げ続けたエピソードは、後援会初期の古参メンバーの間で今も美談として語り継がれています。
