桃華楽堂の建設が計画された契機は、昭和天皇の皇后であった香淳皇后の還暦（昭和38年/1963年3月6日）を祝う事業に遡ります。宮内庁の記録によると、香淳皇后が無類の音楽好きであり、自らもピアノや声楽を嗜まれていたことから、皇室関係者や民間有志から音楽堂の建設が発案されました。
昭和39年（1964年）11月に着工し、約1年3カ月の歳月をかけて昭和41年（1966年）2月に竣工。名称の「桃華」は、香淳皇后の誕生日である3月6日が桃の節句の季節であること、そして中国の古典『詩経』の「桃の夭夭（ようよう）たる、灼灼（しゃくしゃく）たる其の華」という、桃の花が咲き誇る美しい情景を寿ぐ詩句に由来しています。
単なる記念建造物にとどまらず、皇居内の文化発信拠点として位置づけられ、落成以降、皇室関係の私的な音楽会や、宮内庁楽部による演奏、東京藝術大学の卒業生らによる御前演奏会などが催されてきました。
