祭りの縁日と裏社会の関係を紐解く上で、避けて通れないのが「的屋（テキヤ・香具師）」と「博徒（バクト）」の混同です。一般にはどちらも「ヤクザ」と一括りにされがちですが、民俗学および警察組織の歴史的定義において、両者の成り立ちは全く異なります。
的屋の起源は江戸時代中期の「香具師（やし）」にさかのぼります。薬草や珍品を売る露商人、大道芸や見世物小屋を営む職能民が、医薬と農耕の神である「神農（しんのう）皇帝」を守護神として団結したのが始まりです。寺社の境内や宿場町で商売を行うため、彼らは「庭場（にわば）」と呼ばれる縄張りを管理し、露店の配置調整、道路の占有手続き、商人同士の揉め事仲裁を行う自治組織を形成しました。一方の博徒は、丁半博打などの違法賭博を生業とする集団であり、本来の生業基盤が完全に分かれていました。
しかし、明治維新から戦後の闇市時代を経て、両者の境界線は急速に曖昧になります。露店を束ねる的屋組織が縄張り防衛のために武力（暴力）を強化し、博徒系暴力団が露店の莫大な現金収入に目をつけ傘下に収める事例が頻発しました。警察庁の指定暴力団一覧においても、博徒系・的屋系双方が混在して指定されたことで、「祭りの屋台＝ヤクザのシマ（縄張り）」というパブリックイメージが定着したのです。
