La plage de la Ponche et sa petite anse appelée calanque de la Pointe sont un abri naturel pour les pêcheurs depuis le 16e siècle. Ils tiraient leurs barques à terre et faisaient sécher les filets sur la plage. Par mauvais temps ils allaient s'abriter ponctuellement dans l'enceinte portuaire. A la fin du 19e siècle une cale de halage est construite sur la plage et un muret est construit sur le rochers et la plage en 1888. Le quai à l'ouest de l'anse est aménagé en 1893, il est agrandi en 1927. A la fin du 19e siècle la communauté des pêcheurs est très importante et l'espace dans le port abri de la Ponche est trop réduit, certains pêcheurs s'installent durablement dans la partie est du vieux port (référence IA83002004). Dans les années 1950 les effectifs de pêcheurs sont réduits et ils quittent progressivement le port abri de la Ponche pour s'établir définitivement dans l'enceinte portuaire voisine. La Tour Vieille est construite en 1522 en avant du rempart médiéval pour recevoir de l'artillerie et défendre la ville. Elle est rehaussée en 1561.