栄華を極めた鹿鳴館時代は、1883年（明治16年）の開館からわずか4年後の1887年（明治20年）、突如として終焉へ向かいます。鹿鳴館がなぜ衰退したのかという最大の契機は、井上馨が進めていた条約改正交渉の致命的な挫折でした。
井上案の妥協条件の中に「日本の裁判官に外国人を任用する」という条項が含まれていたことが明るみに出ると、司法省のお雇い外国人法学者ボアソナードが「主権の侵害である」として猛反対の意見書を提出。閣内からも激しい反発が起き、民権派による反対運動が全国規模で激化しました。結果として条約改正交渉は無期延期となり、井上馨は外務大臣の辞任に追い込まれます。外交の切り札としての役割を失った鹿鳴館は、その存在意義そのものが根底から覆されたのです。
その後、鹿鳴館は1890年に宮内省へと移管され、華族たちの親睦社交場である「華族会館」へと払い下げられました。しかし、かつての国際的な熱気を取り戻すことはありませんでした。そして1940年（昭和15年）、日中戦争が泥沼化し太平洋戦争の開戦前夜という戦時体制下において、敷地は大日本徴兵保険（現在の大和生命保険、現ジブラルタ生命）に売却されます。鹿鳴館の解体理由は、建物の深刻な老朽化に加え、「贅沢は敵だ」と叫ばれる戦時下の社会通念において、西洋崇拝の遺物と見なされた建物を維持保存する国力も世論の後押しも完全に失われていたためでした。
