大倉士門を語る上で頻繁に話題に上るのが、「京都の実家がお金持ち」というエピソードです。出身地である京都府京田辺市にある実家は、テレビ番組でも度度紹介されており、手入れの行き届いた広大な日本庭園や趣のある母屋、骨董品の数々が公開されています。
家族構成は、父親、母親、本人、弟、妹の5人家族。弟の大倉亜門も芸能活動やフィットネス分野で活躍しており、メディアやSNSで兄弟の仲睦まじい姿が度々披露されています。幼少期から自然豊かな環境でのびのびと育ち、家族間のコミュニケーションが非常に緊密であったことが、現在の大倉の屈託のない社交性や精神的な安定感の礎となっています。
