La confrérie des Pénitents Bleus, fondée en 1597, est composée de gens de mer, marins, capitaines, patrons de barques, marchands, constructeurs de navires et de commerçants. Elle dispose d'une petite chapelle en ville, mais face à l'affluence de leurs membres il fut décidé de l'agrandir. La Chapelle des Pénitents Bleus est agrandit en 1626 sur décision de Jehan Carbonnel et Antoine Fardeloux (prieur et sous-prieur de la confrérie des pénitents Bleus) et sur les plans de Pierre Pourtaud qui prévoit un agrandissement de la chapelle vers la mer, du coté du soleil levant. Les travaux sont réalisés par deux maîtres maçons, Antoine Drecht et Antoine Chaulier, qui réalisent les fenêtres et chaînages d'angles, divers éléments en pierre et les voûtes. En 1633, le maître verrier Jacques de France peint les vitraux des nefs et en 1645, Pierre Suquet, maître maçon réalise le grand escalier. La tour octogonale est construite entre 1633 et 1650. La décoration intérieure de certaines fenêtres et de la nef date de 1693-1694. La chapelle est également appelée Chapelle Notre-Dame de la Grâce. La chapelle est ensuite propriété de l'état lors de la révolution française, lorsque les confréries furent supprimées. Elle subit de nombreux pillages entre 1792 et 1793. En 1805 elle sert de caserne puis d'hospices. Elle est tellement en mauvais état en 1807, considérée comme une ruine, qu'elle est désaffectée. En 1822 la confrérie reconstituée rachète la chapelle mais celle-ci est saisie et revendue à une société civile. En 1896 le toit de l'ancienne chapelle s'effondre. Au début du 20e siècle elle sert de remise, d'atelier et de scierie. En 1949 la municipalité rachète la chapelle, elle est alors utilisée comme garage et dépôt. Elle sera restaurée à partir de 1980 par l'architecte Yvan Pierre Gouirand pour devenir aujourd'hui un lieu d'exposition.