「輩」という漢字は、車が左右に整然と並んでいる様子を表す会意兼形声文字です。古代中国においては「一列に並ぶ軍車」を指し、そこから転じて「同じ階級の者」「並び立つ仲間」を意味するようになりました。日本でも「先輩」「後輩」「同輩」「輩出」といった熟語にその名残が色濃く残っています。
大和言葉としての「やから」の語源は、血筋や家族の系統を指す「家柄（やから）」や「矢柄（やから＝矢を束ねたもの）」にあるとされています。古事記や日本書紀の時代には、一族・親族や同胞を親しみを込めて「族（やから）」と呼んでいました。「同じ輩（ともがら／やから）」という表現も、本来は「志を同じくする仲間」を指す高潔な言葉だったのです。
ところが中世から近世にかけて、集団で群れる下層階級や悪党を「不逞の輩（ふていのやから）」「無頼の輩」と呼ぶ表現が定着。次第に「群れて悪さをする者たち」という軽蔑のニュアンスが強まり、単体でもネガティブな意味合いで使われるようになりました。
