Le château du Lavandou est construit entre 1841 et 1881 à quelques mètres de l’'ancienne jetée. Son propriétaire, monsieur Honnoraty, herboriste toulonnais ’embarque souvent du Lavandou pour l'ile de Port-Cros à la recherche de plantes médicinales. Le rez-de-chaussée du bâtiment est aménagé en garage à bateaux de plein pied avec la mer. Le bâtiment adopte un style architectural en usage dans la région du lac de Garde qui dénote de l'architecture provençale. Une terrasse complète l’'édifice en 1930. Cette année-là une petite digue est construite à l'aplomb du bâtiment. La grande digue construite en 1880 avec passerelle est rattachée à la terre. Le port subit un important ensablement qui l'éloigne progressivement de la mer. Au 20e siècle le bâtiment accueille une pension de famille, un hôtel, une résidence pour les religieuses puis un restaurant. Le château est racheté par la mairie en 2002, il héberge depuis 2007 la Maison du Lavandou. Depuis, la voirie et la construction du port (référence IA83001996) ont encore fait perdre au bâtiment son accès direct au rivage.