L'église Saint-Pierre est mentionnée dans les archives du diocèse de Cavaillon en 1370 ; il est probable qu'elle ait été construite avant, probablement au 13e siècle. Elle a été utilisée, tout au long du 14e siècle, comme église paroissiale car sa position à l'intérieur des murs de la ville la rendait plus sûre.

A la fin du 16e siècle, son état est si mauvais que l'accès y est interdit. Il est même envisagé sa démolition. Toutefois, il est décidé de construire au pied des vestiges de l'abside une petite bâtisse afin d'abriter la confrérie des Pénitents blancs. La construction est terminée en 1606, les pénitents s'y installent en 1607.

L'église Saint-Pierre et la chapelle des Pénitents blancs ont été vendues comme bien national le 18 août 1793 au Sieur Truchement pour la somme de 480 francs. Les bâtiments sont alors englobés dans une habitation privée. Le mécanisme de l'horloge a été rétrocédé à la commune qui en assure l'entretien. Le cadran est d'ailleurs toujours visible sur le clocher, sous les cloches.