Sanary abrite très tôt une flottille de pêcheurs. En 1560, la communauté des pêcheurs prend l'initiative de construire la chapelle Notre-Dame de la Garde, aujourd'hui sous le vocable de Notre-Dame de la Pitié (référence IA83001961). En 1618 les patrons pêcheurs de Sanary (anciennement Saint-Nazaire) sont autoriser par Louis XIV à s'établir en prud'homie affiliée à celle de Toulon. En 1661, les 27 patrons pêcheurs de Sanary obtiennent l’'autorisation de s’e réunir en confrérie Saint-Pierre (saint patron des pêcheurs). En 1786, les pêcheurs de Sanary décident d'acquérir un bâtiment pour se réunir et teindre les filets de pêche grâce au chaudron installé au rez-de-chaussée.En 1792, la prud'’homie de Sanary est rétablie. En 1820 la prud'homie du Brusc (commune de Six-Fours) est créée au dépend de celle de Sanary. La situation se prolonge jusqu'en 1894. La décision de séparation des zones de pêche, considérée comme injuste pour les pêcheurs sanaryens, motive la démission du Maire, Marius Michel Pacha. La salle de réunion de la prud’homie, aménagée en 1904 au premier étage, existe toujours et accueille les réunions prud’'homales d'une dizaine de pêcheurs.