時の鐘の歴史は、江戸時代初期の寛永年間（1627年〜1634年頃）に遡ります。創建したのは、当時の川越藩主であった酒井忠勝（さかいただかつ）です。忠勝は徳川幕府の要職を歴任した名君であり、城下の武士や町人に対して正確な時間を守らせ、規律ある町づくりを推進するために鐘楼を建てました。
しかし、木造の鐘楼は火災との戦いの連続でした。創建以来、度重なる大火によって焼失し、現在建っている鐘楼は4代目にあたります。決定打となったのは、1893年（明治26年）3月に発生した「川越大火」です。町の約3分の1が灰燼に帰し、時の鐘も全焼しました。
自らの店や家を失った川越の商人たちは、暮らしの象徴であった鐘の再建を最優先に掲げます。大火の翌年である1894年（明治27年）には、渋沢栄一をはじめとする実業家の支援や町衆の団結によって、現在の3層構造・高さ約16メートルの鐘楼が再建されました。この驚異的な復興スピードこそが、川越商人の誇りと気概を象徴しています。
時の鐘の敷地内、鐘楼をくぐった奥には薬師神社（旧瑞光山医王院常法寺）が鎮座しています。もともとは病気平癒を祈願する寺院でしたが、明治の神仏分離令により神社となりました。特に「眼病平癒」にご利益があるとされ、境内には「め」の文字を反転させて向かい合わせた絵馬が多数奉納されています。参拝の際は、鐘を見上げるだけでなく、奥の神社へ手を合わせるのが通の巡り方です。
