展示作品と並び、建築そのものが一級の鑑賞対象である点も本館の大きな特徴です。現在の建物は、1935（昭和10）年に竣工した旧横浜正金銀行神戸支店の遺構をそのまま活用したもので、近代日本を代表する建築家・櫻井小太郎（三菱赤煉瓦街の設計などで知られる）の円熟期の傑作として知られています。
外観に並ぶコリント式の巨大なイオニア様式列柱（ドリス式・コリント式を融合した古典主義様式）は、かつて東洋随一の国際金融街として繁栄した旧居留地の建築群のなかでも圧倒的な風格を誇ります。1998年には国の登録有形文化財に指定され、昭和初期のネオ・クラシカル様式の構造美を今に伝えています。
2019年の大規模リニューアルを経て、1階部分は「まちなかに開かれたサロン」としてチケットなしで入れる無料開放ゾーンへと生まれ変わりました。高い天井と重厚な石造りの梁が織りなす開放的なフロアには、旧居留地の歴史を辿るタッチパネル型デジタルアーカイブや体験型展示が配置され、建築美を肌で感じながら寛げる設計になっています。
