Plusieurs batteries et fortins du 18e et 19e siècles sont répartis sur le littoral des calanques. La calanque de Sormiou a abrité l'activité des pêcheurs dont les abris préfigurent les « cabanons » qui sont attestés à Sormiou vers la fin du 19e siècle. En 1876, Pascalis Buret fait l'’acquisition pour sa fille Marie. Celle-ci, ayant épousé le comte de Ferry y fait bâtir en 1894 une grande maison, appelée château (actuel restaurant), ainsi qu'’une première série de cabanons. A l'’origine, les cabanons permettaient aux pêcheurs venus du village voisin, de ranger leurs filets et de passer la nuit. Mais c’est à partir du début du 20e siècle (vers 1904) que débute la tradition du « cabanon » dont l'’usage s'’est orienté vers une villégiature de loisirs. La calanque en compte près de 127 à la fin des années 1950, chiffre figé depuis et définitivement arrêté par le décret de classement de la calanque en 1975. Le port se développe à partir du début du 20e siècle avec la construction de la jetée entre 1905 et 1908.