「公安と秘密警察は何が違うのか」という疑問に対し、法学および政治学上の厳格な答えを示すならば、それは「法治主義（令状主義）の制約下にあるか否か」という一点に尽きます。多くの人が抱く「公安＝秘密警察」という連想は、活動の一部が非公開で行われる「秘匿性」に惑わされた誤認に過ぎません。
歴史的に秘密警察の定義とされるのは、ナチス・ドイツのゲシュタポ、旧ソ連のKGB、旧東ドイツのシュタージ（国家保安省）のように、裁判所の令状審査を経ずに市民を拘束し、秘密裏に処刑や拷問を行える超法規的機関です。彼らの至上命題は法秩序の維持ではなく、「現行政権の維持」と「反体制分子の物理的排除」にありました。
対する日本の公安警察と秘密警察の違いは、憲法上の人権保障と司法のコントロールにあります。公安警察はあくまで都道府県警察の警備部門（警視庁公安部や各道府県警警備部）に所属する正規の警察官であり、一般の刑事警察と同一の刑事訴訟法によって縛られています。容疑者を逮捕・家宅捜索する際には、独立した司法機関である裁判所が発付する令状が不可欠であり、令状のない不法拘束や拷問は明確な刑法犯罪として処罰されます。
それにもかかわらず公安の秘密警察という噂の真相が根強く語り継がれる背景には、スパイ工作の捜査（外事警察）や過激派対策において「捜査手法や捜査員の身元を徹底して秘匿する」という実務上の特徴があるからです。情報収集の過程が外部から見えにくいことが、国民に「何者にも監視されない超法規的な組織ではないか」という心理的恐怖を生じさせている構造があります。
