芹沢の生い立ちを辿ると、常陸国(現在の茨城県)における水戸学の強い影響が見えてくる。天狗党の乱に関与し、投獄されながらも生還した過去は、彼の精神に消えることのない苛烈な烙印を押した。自らの命をいつ落としてもおかしくないという刹那的な死生観は、京都での豪遊や大和屋への打ち壊しといった過激な行動へと結実していく。
だが、酒に酔って暴れる「酒乱の暴君」という定説だけでは説明のつかない側面も多い。彼が残した歌や書には、繊細で豊かな感性と、深い学養がにじみ出ている。部下や町人に対する思いやりのあるエピソードも散見され、彼を慕う者も少なくなかった。豪放磊落な態度の裏には、崩壊しゆく幕府と混迷する時局に対する焦燥感が渦巻いていたのかもしれない。