テレビ番組で見せる気品ある所作の通り、大島由香里さんの実家はもともと神奈川県平塚市でも有数の資産家でした。父親は建設関連の企業を経営する実業家で、平塚市内の広大な敷地にはプール付きの大豪邸が建ち、ガレージには高級外車が複数台並んでいたといいます。
当時の大島家の家族構成は、会社経営者の父親、専業主婦として家庭を支える母親、そして3姉妹(長女、次女の大島由香里さん、三女)の5人家族でした。何不自由のない環境で育った大島さんは、小学校から高校まで神奈川県屈指のお嬢様学校として知られる湘南白百合学園に小中高一貫で通学。ピアノや水泳、バレエなどの習い事に打ち込み、絵に描いたような社長令嬢としての生活を送っていました。