La colonie pénitentiaire de Sainte-Anne a été créée en 1861 par le comte de Pourtalès, propriétaire de l'île. Elle concentre 300 enfants dans un véritable village à vocation agricole, inspiré de l'urbanisme utopique mais où des conditions de vie particulièrement dures entraînent une très forte mortalité. Cette raison amène l'administration pénitentiaire à la supprimer en 1878. Il n'en subsiste actuellement que des caves situées dans le périmètre militaire, et qui auraient été utilisées comme cachots.