A cet emplacement, une tour construite à l'initiative des marseillais est attestée sur la presqu'île au 13e siècle. Au milieu du 16e siècle une tour de plan carré est protégée par une barbacane orientée sur le chenal, puis par un front bastionné et enfin par un rempart sur le chenal et la mer. Au début du 17e siècle, Raymond de Bonnefons, ingénieur du roi pour la Provence, construit un fort autour de la tour. Son enceinte est triangulaire, elle intègre pour les dehors une demi-lune, un fossé en eau, un front bastionné orienté côté terre avec courtine centrale flanquée de deux bastions à orillons.