手帳のカバー色が議論の的になる背景には、福祉手続き上の識別問題だけでなく、利用者が日常で感じる心理的ストレス（スティグマ）が深く関係しています。
電車やバスの運賃割引、美術館や映画館の入場時、タクシーの乗車時など、割引メリットを受けるためには係員への手帳提示が欠かせません。この際、鮮やかな原色や金文字で「〇〇障害者手帳」と箔押しされたカバーを取り出す行為に対し、当事者からは強い抵抗感の声が長年寄せられてきました。
「バスの料金箱前で順番待ちをしている際、後ろに大勢の乗客がいる中で鮮やかな手帳を掲げるのが苦痛でたまらなかった」「手帳の色を見ただけで、周囲に障害の種類や詮索をされているような居心地の悪さを感じる」——当事者コミュニティや当事者の手記には、こうした切実な告白が数多く綴られています。
社会心理学において、本人が意図しない属性やプライベートな情報が外部へ一方的に開示されてしまう状態は、「心理的バウンダリー（個人の心理的境界線）」の侵害として説明されます。本来は生活の自立と社会参加を支えるための福祉ツールであるはずの手帳が、特徴的なカバー色や目立つ装丁によって、かえって本人の自尊心や外出意欲を削いでしまうという制度上のジレンマが長年放置されてきたのです。
