幽霊族という名称の不気味さから、彼らを怪談に登場する亡霊の類いと誤認する読者は少なくない。しかし、1960年代初頭に水木しげるが執筆した貸本漫画『墓場鬼太郎』シリーズにおいて明示された原初の設定によれば、幽霊族とは「人類が地球上に現れるよりも遥か数万年前、地上を平穏に支配していた知的生命体」である。
当時の彼らは、自然と完全に調和した高度な精神文化を築き上げていた。肉体構造は人間と酷似しているものの、心拍数は極めて穏やかで、争いを本質的に嫌う生体リズムを持っていたとされる。水木しげるの代表的な随筆『ねぼけ人生』や当時のインタビュー記録のなかで、水木は「お化けや妖怪の原型は、文明に追いやられた先住の人々や、自然そのものの悲鳴なんだ」と語っている。つまり幽霊族の原風景とは、侵略者を持たなかった牧歌的な太古の地球居住者そのものであった。
決定的な分岐点は、後から誕生してきた人類の爆発的な人口増加と凶暴性である。道具を武器へと変え、生存圏を強引に拡大していった人類に対し、平和主義を貫く幽霊族は武力で対抗する手段を持たなかった。結果として彼らは肥沃な大地を追われ、人目を避けるように鬱蒼とした原生林の奥地や、光の届かない地下深くへと追いやられていった。
