地名に「悪」という文字が使われる場合、日本の古語や地名学においては必ずしも「邪悪」「不吉」を意味するわけではない。悪石島の名前の由来に関しても、大きく分けて2つの強力な説が存在する。
最も有力視されているのが「地形説」だ。島全体が極めて急峻な断崖絶壁に囲まれており、船を寄せるための良好な港が存在しなかった。「立ち寄るのが難しい岩の島」、あるいは「船を寄せるのに悪条件な石の島」という意味から「悪石」という名が定着したという見解である。波が打ちつける荒々しい海岸線を間近で見れば、当時の船乗りたちがここを恐れ、同時に敬遠した理由が嫌というほど理解できる。
一方で、歴史ファンの間で根強く語り継がれているのが「海賊伝説説」である。中世の昔、この海域を根城にしていた海賊（倭寇など）が、外部からの侵入者を威嚇するためにあえて「悪石島」という恐ろしい名を自ら名乗ったという説だ。外部の人間を遠ざけ、自らの隠れ家を守るための心理的防衛壁として、この凄まじい地名が利用されたというストーリーには不思議なリアリティが宿っている。
