平蔵の青年期は、およそエリート幕臣とは呼べない荒れたものでした。若い頃の平蔵は「本所の銕（てつ）」という通称（幼名・銕三郎に由来）で知られ、吉原遊廓や深川の岡場所に出入りし、無頼漢や博徒たちと交わる放蕩無頼の日々を送っていました。実父の宣雄が頭を抱えるほどの不良旗本だったと伝えられています。
しかし、この放蕩時代に培った「裏社会の生態、犯罪者の心理、庶民の生活感情への深い理解」が、後の平蔵の強力な武器となります。父の死に伴い27歳で家督を相続（400石）して以降、平蔵は改心して幕臣としての職務に励み、西丸小十人頭などの役職を経て、天明8年（1788年）、43歳の時に火付盗賊改方の頭（長官）に就任しました。
火付盗賊改方は、通常の警察組織である町奉行所とは異なり、放火・強盗・密造酒・賭博といった重大凶悪犯罪を専従で取り締まる、いわば幕府直属の軍事警察・特捜部隊でした。平蔵はこの役職に就任するや否や、神道徳次郎や葵小僧といった江戸中を恐怖に陥れていた大盗・凶悪集団を電光石火の捜査で次々と壊滅させ、その卓越した治安維持能力を見せつけました。
