La construction de l'édifice fortifié que l'on désigne actuellement sous le nom de Tour carrée aurait été commencée en 1519 sous l'impulsion de François de Rivière, abbé du Thoronet, de qui dépendait la communauté de Sainte-Maxime. Il s'agissait de mettre les quelques habitants, essentiellement des pêcheurs, à l'abri des exactions de pirates. Un seul niveau fut alors édifié. En 1557, l'abbé Jacques Jouvenel des Ursins, à l'origine d'un projet de peuplement de la terre inhabitée alentours contraint les bénéficiaires des baux à poursuivre la construction de la tour d'un niveau supplémentaire.
En 1791 la tour est achetée comme bien national pour servir de maison commune. En 1856-1859, elle est élevée d'un étage supplémentaire pour abriter la mairie et l'école jusqu'à la construction d'un groupe scolaire à la fin du 19e siècle. Au rez-de-chaussée, les vieux magasins sont convertis en salle d'école. Au premier étage se trouvent la salle du conseil, les archives et le logement du sergent de ville, et au deuxième étage, le logement de l'instituteur. Ses murs sont alors recouverts de crépi. En 1969, elle est débarrassée de son crépi. C'est peut-être à ce moment-là que les fenêtres de l'étage supérieur, au sud et au nord sont transformées en portes-fenêtres plein-cintre. Elle est inscrite Monument Historique le 29 août 1977. Depuis 1985 elle abrite le Musée des traditions locales.