La construction de la chapelle remonte au début 17e siècle. Après la construction de la chapelle Notre-Dame de Grâce dans la cité, les pénitents bleus (confrérie composée de mariniers et navigateurs) envisagent de construire un sanctuaire à l'extérieur de la ville dédié aux gens de mer. En 1610 ils plantent une croix à côté de la vigie existante pour définir l'emplacement de la chapelle. Les travaux durent jusqu'en 1613. En 1713, la chapelle devient fameuse par les vœux que les gens de mer y accomplissent. Notre-Dame de la Garde est connue en 1787 comme « un ermitage auquel les marins ont grande dévotion ». Après la Révolution française la chapelle est vendue à Jean-François Bonnaud de La Ciotat mais Le curé Brunet la rachète en 1841 pour en faire un lieu de culte. Objet de ferveur de la part des ciotadens, bourgeois, commerçants, pêcheurs et marins confondus, la chapelle reçoit tout au long du 19e siècle des ex-voto et des maquettes de navires témoignant des interventions miraculeuses de la Vierge de la Garde en faveur des sinistrés et naufragés. De 1864 à 1866, le curé Bruchon fait restaurer la chapelle et construire le grand porche surmonté d'une statue de la Vierge en terre cuite. Parmi les donateurs participant à cette restauration : les Messageries Impériales donnent les chaises et les bancs, les patrons pêcheurs font redorer la statue, M. Tartas, artiste marseillais, décore le sanctuaire. En 1906 la chapelle devient propriété communale mais reste affectée au culte. Après un incendie en 1957, la chapelle fut restaurée grâce à la municipalité, la paroisse et les Chantiers Navals de La Ciotat. Actuellement, l'Association des Amis de la Chapelle milite pour sa restauration et participe à divers travaux d'entretient (toiture, façade, dallage etc.) de ce lieu emblématique.