語源となった賭博文化は、江戸時代の社会構造と密接に結びついて発展しました。ヤクザの歴史的源流を辿る上で不可欠となるのが、「博徒（ばくと）」と「的屋（てきや）」という2つの異なる潮流の存在です。
博徒は、宿場町や街道沿い、農村の盛り場などで秘密裏に賭場を開き、賭銭のテラ銭（手数料）を徴収して生活を営んでいた集団です。厳しい幕府の賭博禁止令に対抗するため、掟や上下関係を極めて厳格に保ち、暴力による自力救済の組織を構築していきました。江戸時代中期から後期にかけて、清水次郎長や国定忠治といった講談や浪曲の題材となった人物の多くは、この博徒の系譜に属します。
一方の的屋（香具師・神農とも呼ばれる）は、神社仏閣の祭礼や縁日において露店を出し、物品の販売や大道芸・見世物興行を取り仕切っていた集団です。彼らは開拓地や盛り場の治安維持、場所割り（テリトリー管理）を担う一種の自治組織として機能し、中国の伝説上の神である「神農皇帝」を守護神として祀る独自の信仰体系を持っていました。
双方は生業の形態こそ大きく異なっていたものの、「家父長制的な疑似血縁関係（親分子分・盃事）」を軸とする統制システムや、一般社会の法秩序とは異なる独自の規範を持っていた点で共通しており、明治以降の近代化と都市化の波の中で徐々に混交していきました。
