この特異な景観を形成したのは、自然の浸食ではなく先人たちの過酷な手作業の歴史です。鋸山一帯から産出された石材は「房州石（ぼうしゅういし）」と呼ばれ、耐火性と加工のしやすさに優れた凝灰岩として珍重されました。
採掘の歴史は江戸時代後期に本格化し、明治から大正、昭和にかけて最盛期を迎えます。切り出された石材は、横須賀軍港の建設資材、東京湾要塞（第三海堡など）、早稲田大学の大隈講堂の基礎、靖国神社の石段など、首都圏の近代建築を支える礎として海上輸送されました。
当時の石切職人たちは、つるはしを振るって1日に何本もの石材を垂直に切り出していきました。昭和30年代以降は機械掘削へと移行したものの、安価なコンクリートの普及や採算性の悪化により、1985年（昭和60年）に採石の歴史は完全閉山を迎えました。作業員たちが命がけで削り進めた結果として残された垂直の岩壁面こそが、現在の「ラピュタの壁」をはじめとする遺構群の正体です。
