本作最大の魅力は、固定された一人の主人公視点ではなく、4人の男女それぞれが「主人公」として章ごとに視点を入れ替えながら進行する群像劇スタイルにある。自己肯定感が低くクラスでも目立たない光(ひかり)、誰もが振り返る圧倒的美少女の麻里(まり)、明るく誰にでも優しいサッカー部員の大谷(おおたき)、そしてクールで観察眼に長けた朝霧(あさぎり)。
一見すると典型的なスクールカーストの構図に見えるが、カメラの角度が変わるたびに彼らの内面に潜むコンプレックスや孤独が暴かれていく。光は大谷に密かな恋心を抱き、大谷は麻里の完璧な姿に惹かれ、麻里は周囲からの「高嶺の花」という扱いと偶像化に苛立ち、朝霧はそんな麻里の「仮面の下の素顔」を誰よりも冷徹に、かつ温かく見つめている。この静かな視線の連鎖こそがタイトル『君の横顔を見ていた』の真義である。