La chapelle des Pénitents blancs est construite en 1646, après que la confrérie des pénitents blancs de Lagnes ait été autorisée par la communauté, en 1645. Elle est alors placée sous le vocable du Saint-Sacrement.

Lorsqu'en 1788 l'église paroissiale Notre-Dame-des-Anges est interdite par l'évêque de Cavaillon en raison de son état de délabrement, la chapelle des Pénitents est utilisée pour la célébration du culte, et cela jusqu'en 1844, date à laquelle la nouvelle église est consacrée.

Si l'on compare l'emprise au sol du bâtiment entre le cadastre napoléonien, dressé en 1828, et le cadastre moderne, on constate que l'ancienne chapelle a été raccourcie de l'actuelle parcelle 556 qui correspond probablement au chœur d'origine. Il existait sans doute par ailleurs une sacristie sur le côté méridional de ce chœur qui a été détruite. La différence des niveaux de toitures entre les parcelles 554 et 555, ainsi qu'avec la façade actuelle, amène à penser que l'ancien couvrement de la chapelle a été démoli et le niveau du plafond baissé.

Un lavoir est aménagé dans l'ancienne chapelle en 1911. Il s'agit du premier lavoir communal de la ville. Il fait partie d'un projet d'ensemble de travaux d'adduction pour un meilleur accès à l'eau.

Aujourd'hui, l'ancienne chapelle est employée comme lieu d'exposition.