Le port de Saint-Elme est en projet dès la fin du 19e siècle. Plusieurs dossiers datant de 1874 à 1888 élaborent différentes versions du bassin portuaire comme port refuge pour bateaux de pêcheurs. Les largades venues du Midi et les rafales du mistral pouvaient occasionner d'importants dégâts sur les rivages de Saint-Elme, les pêcheurs tiraient alors leurs bateaux à terre mais insistaient pour bénéficier d'une digue de protection. Le port de Saint-Elme est officiellement créé en 1889. Le premier aménagement du port de Saint-Elme est une digue coudée qui protège le bassin portuaire. La liaison entre la digue sud et la berge est assurée par une passerelle en bois qui permet la circulation des eaux dans le bassin portuaire. Au début du 20e siècle des cabanes de pêcheurs sont construites sur la plage, qui deviennent par la suite des cabanons et plus tard des villas. Dès 1901 les pêcheurs et plaisanciers demandent des améliorations du port abri. La contre-jetée nord est construite en 1954. En 1969 le terre-plein central est créé et la passerelle de la digue est remplacée par un quai en béton. Un terre-plein est construit en 1977 au sud du port et aménagé pour la base nautique. Son anse alvéolaire est modifiée en 1980 avec la construction d'une digue protectrice au sud.