『こころ』の全体像を掴むうえで欠かせないのが、計算し尽くされた「上・中・下」の3部構成です。物語は語り手である「私」の青年期から始まり、最終的に先生が遺した長大な手紙（遺書）によってすべての伏線が回収されます。
各部の役割と大まかな流れは以下の通りです。
上：先生と私
鎌倉の海岸で偶然出会った「先生」に強く惹かれた語り手「私」は、東京に戻ってからも先生の自宅へ通い詰めます。先生は教養深く温和でありながら、どこか人間不信と厭世観を漂わせ、毎月特定の日に雑司ヶ谷の墓地へ通っていました。私に対して「愛は罪悪ですよ」といった謎めいた警告を発する先生の影に、私は強い好奇心を抱きます。
中：両親と私
大学を卒業した「私」は、病に倒れた父の看病のため実家へ帰郷します。実直だが教養に乏しい父親と、知的で洗練された先生とのギャップに苦悩するなか、明治天皇の崩御と乃木希典大将の殉死という時代の激震が走ります。父親の命が刻一刻と縮まる最中、東京の先生から分厚い封書が届き、そこには「この手紙があなたの手に届く頃には、私はもうこの世にはいないでしょう」という衝撃の一文が記されていました。
下：先生と遺書
作品全体の約半分を占める先生の手記です。若き日に親類に財産を騙し取られたトラウマ、下宿先での「お嬢さん」への恋心、同居させた親友「K」との三角関係、そしてKを死に追いやった裏切りの顛末が赤裸々に告白されます。
