霞会館の起源は、明治維新後の1874（明治7）年に設立された「華族会館」に遡ります。明治政府のもとで特権階級となった公家や諸侯（大名）の親睦団体として発足し、鹿鳴館を一時借り受けて本拠地とするなど、近代日本のエスタブリッシュメントの頂点に君臨していました。1947（昭和22）年に日本国憲法第14条によって華族制度が廃止された際、財産税の物納などで多くの華族が没落する中、財団法人（現在は一般社団法人）へと改組された組織が現在の霞会館です。
名目上は文化振興や福祉事業を掲げる民間法人ですが、実態は日本屈指の門閥サロンです。その結びつきを最も象徴するのが、皇室との極めて親密な関係性です。宮内庁関係者の証言によると、「天皇家をはじめとする皇族方にとって、霞会館は公務のプレッシャーを離れてくつろげる数少ない私的空間」とされています。歴代会長には旧皇族や五摂家・徳川宗家の当主らが名を連ね、新年祝賀の集いや宮中行事の節目には、会員たちが平服ではなく極めてフォーマルな装いで皇族方を迎える慣習が今なお受け継がれています。
