一度下された流刑は、生涯続く終身刑であることが基本でした。しかし、罪人が本土へ生きて帰還できる唯一の道が「恩赦（赦免）」でした。
朝廷の時代には、天皇の即位や改元、皇族の誕生、大飢饉や疫病の退散を祈願する国家的な節目に「大赦（たいしゃ）」が発令され、多くの配流者が都への帰還を許されました。
江戸時代においては、将軍の就任や世継ぎの誕生などの慶事に際して「赦免令」が出されました。江戸幕府は定期的に「赦免船（しゃめんぶね）」を伊豆諸島へ派遣し、現地の代官が罪人の配所での行状や反省の態度を審査した上で、本土への帰還を許可しました。
ただし、恩赦が出たからといって全員が無条件に帰還できたわけではありません。島内で島民の女性と結婚して家庭を築いていた者（「島妻」を持った者）や、高齢で本土に身寄りがない者は、自らの意志でそのまま島に残り、生涯を終える道を選ぶケースも少なくありませんでした。
