東大入学を果たしたロバートソン氏でしたが、その知的好奇心とエネルギーは既存の大学の枠組みに到底収まりませんでした。入学直後の1981年4月、キャンパスの保守的な空気と官僚養成機関特有の画一性に違和感を抱いた彼は、「東大をわずか1学期（数ヶ月）で中退」するという電撃的な決断を下します。周囲の大人たちが必死に引き止めるなか、彼は全額給付に近い奨学金を得て、単身マサチューセッツ州ケンブリッジのハーバード大学へと渡りました。
ハーバードでの専攻もまた規格外でした。彼は学問の王道である政治経済や法学ではなく、当時は最先端の領域だった「電子音楽（コンピュータ・ミュージック）」と視覚環境学を専攻。自作のモジュラー・シンセサイザーを構築し、プログラミングと音響心理学を融合させた実験的楽曲の制作に没頭しました。最終的にハーバード大学をマグナ・カム・ラウデ（Magna Cum Laude：極めて優秀な成績）で卒業しています。
当時の破天荒ぶりを物語るエピソードとして有名なのが、著書『よくひとりぼっちだった』でも回顧されているパンクロック活動です。高校時代から自作シンセサイザーを持ち歩き、髪を派手に染めてステージで過激なパフォーマンスを披露。教員や周囲の生徒から奇異の目で見られながらも、全国模試では駿台予備校などのハイレベル模試で全国1位争いに名を連ねていました。「常識的なエリートのレール」を自ら蹴破り続ける行動力こそが、彼を単なる秀才ではなく「奇才」たらしめた決定的な要因です。
