Des conditions favorables font de la rade d'Agay un lieu fréquenté par les navires dès l'époque massaliote et une fondation romaine est établie à l'embouchure de la rivière l'Agay. La villégiature commence avec l'arrivée du chemin de fer en 1864, tout d'abord à Camp long, à l'ouest, puis peu à peu, au fond de la baie. Cependant, une carte postale du début du 20e siècle montre ce secteur encore très peu construit. Le guide Joanne de 1906 parle de station hivernale et balnéaire. Celui de 1919-1920 mentionne trois hôtels importants. En 1924, Agay est encore mentionnée comme station de repos mais elle connaît un développement rapide à partir de 1926 : gare P.L.M., villas et hôtels en bord de mer, yachts amarrés au quai construit par le Touring Club de France. En 1933, des terrains sont expropriés pour construire un groupe scolaire. Les destructions sont considérables pendant la guerre car les Allemands y avaient installé des postes émetteurs. Des quartiers sont détruits par les bombardements de même que le château construit au milieu du 17e siècle par le gouverneur du port et des tours d'Agay. La reconstruction d'Agay date de l'après-guerre. En 1945, un important projet est proposé par l'architecte Marsil, auteur de l'hôtel de la Plage. Il s'agit d'aménager sur des terrains qui lui appartiennent une piscine d'eau salée en bord de mer pour les courses de hors-bords (maquettes ?), une piscine d'eau douce alimentée par la rivière l'Agay, un établissement de bain avec une couverture en terrasse au niveau de la route, une salle des fêtes, et d'effectuer le nivellement de la plage. L'accès à tout cela devait être bordé par des jardinières et des pergolas. Au nord de la route, un hôtel devait être mis en relation avec la plage par un passage souterrain. Son garage devait être aménagé en sous-sol, sous le parc. Seule une partie de ce projet semble avoir été réalisée. Les jardinières et les pergolas sont encore présentes sur la terrasse de couverture de l'établissement de bain. Peu à peu, tout le pourtour de la rade va se construire. Puis à partir des années 1970, ce sont les collines qui se sont couvertes de villas.