平山五郎の剣術は、幕末三大流派の一つである神道無念流です。芹沢鴨と同じ流派で学んだ平山の太刀筋は鋭敏を極め、片目の視界不良を全く感じさせない正確無比な間合いと豪快な踏み込みを誇っていました。
その武勇が発揮された代表的な事件が、文久3年6月の「大坂力士乱闘事件」です。大坂へ出張した浪士組が相撲力士と衝突した際、平山は芹沢や近藤らとともに抜刀し、多勢の力士を相手に凄まじい太刀捌きを見せて圧倒しました。
しかしその剛腕は、京都の治安維持だけでなく乱暴狼藉の場でも振るわれました。生糸問屋・大和屋への焼き討ちや豪商からの強引な金策など、芹沢一派が引き起こした数々の蛮行に平山も深く関与。夜の京都で黒羽織を翻し、隻眼を光らせて威圧する平山の姿は、京の町民や尊攘派志士たちから極度に恐れられる要因となりました。