小笠原伯爵邸を深く知る上で欠かせないのが、建物そのものが辿った数奇な運命です。1927年、宮内省の庁舎などを手がけた名建築家・曾禰達蔵と中條精一郎が率いる「曾禰中條建築事務所」の設計によって竣工しました。当時の日本では極めて先駆的だったスパニッシュ・コロニアル様式を採用し、鉄筋コンクリート造2階建て、明るいクリーム色の外壁に素焼きのスペイン瓦、中庭（パティオ）を配した開放的な構造が大きな特徴です。
内部には、日本を代表するステンドグラス作家・小川三知による「鳩とぶどう」を描いたステンドグラスや、イスラム風の細密なアラベスク模様が施されたシガールーム（喫煙室）など、当時の贅を尽くした職人技が随所に散りばめられています。当主・小笠原長幹伯爵がイギリス留学などで培った国際感覚と、日本の伝統的な美意識が見事に融合した空間でした。
しかし、第二次世界大戦後は米軍による接収を受け、解除後は東京都に引き渡されて「東京都児童相談センター」として使用されました。その後、用途を終えて長期間放置されたことで老朽化が深刻化し、一時は取り壊しの危機に瀕します。転機となったのは2000年、東京都が打ち出した民間活力を導入する保存再生事業でした。民間企業（インターナショナル青和）が修復と運営を担うパートナーに選ばれ、当時の図面や古写真を丹念に精査しながら、剥落したタイルの一枚に至るまで忠実に復元。2002年6月、歴史的建造物を体感できるレストランとして劇的な再生を果たしました。
