平面に描かれた二次元の図形や文字が立体的に認識される背景には、人間の目が光を受け取るプロセスにおける物理的なズレが存在する。この現象を紐解く鍵となるのが、物理学で言うところの「色収差」と、解剖学的な「両眼視差」の連動だ。
自然光やディスプレイから放たれる光は、色（波長）によって進み方が異なる。目の中のレンズである水晶体は単一の凸レンズ構造をしているため、プリズムと同様に波長ごとに光を曲げる角度（屈折率）が変わる。波長の短い青い光（約450nm）は大きく屈折して網膜の手前寄りで焦点を結び、波長の長い赤い光（約650nm）は屈折しにくく網膜の奥深い位置に焦点を結ぼうとする。これが縦色収差（屈折による焦点のズレ）である。
さらに決定的な要因となるのが、光が目に入り込む窓である「瞳孔の中心」と、物を見る視線である「視軸」が完全には一致していないという解剖学的特徴だ。多くの人の眼球では、瞳孔の中心が視軸に対してわずかに鼻側（顔の内側）へ偏心している。この偏心によって目の中に斜めに光が差し込む形となり、赤と青の光が網膜に到達した際、左右の網膜上で投影される位置に水平方向のわずかなズレ（横色収差に基づく網膜像の視差）が発生する。
人間の脳は、左右の網膜に生じる像のズレ（両眼視差）を手がかりにして物体の奥行きを瞬時に計算している。そのため、実際には同一平面上にある赤と青の色刺激であっても、網膜上の物理的なズレを「赤は近くにある物体」「青は遠くにある物体」として脳が処理してしまう。これが、赤と青の組み合わせで最も鮮明に現れる色立体視の真相である。
