右衛門と対をなす存在が「左衛門（さえもん／ざえもん）」です。両者の違いは、単なる担当区域の方角にとどまらず、朝廷内における明確な序列格差にありました。
古代中国の思想に由来する「天帝は北を背にして南を向く」という宮廷の配置原則から、東（左側）は陽、西（右側）は陰とされ、「左上右下（左が右よりも上位）」という厳格な序列が存在しました。太政官において右大臣より左大臣が上位であるのと同様に、衛門府においても左衛門府は右衛門府よりも格上の官庁と位置づけられていたのです。
具体的には、左衛門府は太陽が昇る東側の陽明門などを守護し、右衛門府は日没の方角である西側の殷富門などを担当しました。儀式や朝廷行事における席次でも左衛門府の官人が常に優位に立っており、これが後世の武士階級における格式意識や、名乗りとしての重みの違いへと引き継がれていきました。
