波乱に満ちた小西さんの人生を陰で支え続けてきたのが、妻と家族の存在です。小西さんは若い頃に結婚しており、一般女性である奥様と家庭を築いてきました。
数十億円に及ぶ借金地獄に陥った際も、妻は小西さんを見捨てることなく、極貧生活の中で家計をやりくりしながら夫を支え抜きました。小西さん自身もインタビューなどで「女房がいなかったら今の自分は生きていなかった」と度々公言しており、深い感謝と絆で結ばれています。
また、お子さん（娘）も独立しており、現在は孫の成長を目を細めて見守る優しい祖父としての一面も持っています。破天荒なパブリックイメージとは裏腹に、私生活では家族思いで義理人情に厚い人物として知られています。
