一方で、ファンの間で絶大な支持を集め、ネットミームとしても定着したのが「俺は嫌われてない」という迷言です。那田蜘蛛山編（アニメ第21話「隊律違反」、原作第5巻第44話）において、鬼となった禰豆子を連れていた炭治郎を庇う義勇に対し、蟲柱・胡蝶しのぶが「そんなだからみんなに嫌われるんですよ」と告げた際、真顔で返した一言でした。
この冨岡義勇と胡蝶しのぶの会話は、緊迫した戦場において唐突なユーモアを生み出しました。アニメ版で義勇の声を演じる声優・櫻井孝宏氏の抑制された低いトーンと、一切の動揺を見せない硬質な演技が相まって、「本気でそう思っているのか、それとも強がりなのか」と視聴者に鮮烈なインパクトを残しました。
このセリフが生まれた根本的な理由は、単なる天然ボケではありません。義勇は他者を見下しているのではなく、後述する過去のトラウマから「自分は他の柱たちと肩を並べる資格がない」と痛切に思い詰めていました。柱合会議などで距離を置いていたのは傲慢さからではなく、極度の自己卑下による孤立だったのです。周囲から見れば「見下して孤立を選んでいる無口な男」に見えていたのに対し、義勇本人は孤立の理由を「自分が下手に出ているから」程度にしか認識していなかったという、致命的なコミュニケーションの齟齬がこの名シーンを生み出しました。
