柚子胡椒の原材料ラベルを確認すると、そこに並ぶのは「柚子果皮」「唐辛子」「食塩」という極めてシンプルな3つの素材だけです。洋食や中華で用いられるコショウ科のスパイス（ペッパー）は一切含まれていません。それにもかかわらず「胡椒」を名乗る背景には、九州地方に根付く独特の言語文化が関係しています。
古くから九州の一部地域（特に大分県、福岡県、熊本県、長崎県など）では、唐辛子のことを「胡椒」と呼ぶ方言が存在していました。南蛮貿易によってポルトガル人から唐辛子が伝来した際、外来の辛味調味料全般を「南蛮胡椒」や「胡椒」と総称していた名残です。そのため、当時の地元住民にとって「柚子胡椒」とは、文字通り「柚子と唐辛子を合わせた調味料」という意味でした。なお、本来の黒胡椒や白胡椒を区別する際には「洋胡椒」や「黒胡椒」と呼び分けています。
発祥の地については諸説あるものの、最も有力視されているのが大分県日田市（旧前津江村）および福岡県英彦山（ひこさん）周辺です。英彦山で修行を行っていた山伏（修験僧）が、自生する柚子と唐辛子をすり潰して保存食兼薬味として作り始めたという伝承が残っています。昭和30年代に入ると大分県内の農家や観光業者によって特産品化が進められ、温泉街の土産物や地鶏料理の薬味として全国へ知れ渡る契機となりました。
