La première mention connue de la chapelle et de l'existence de la confrérie des pénitents blancs se trouve dans la visite pastorale de 1697. On peut suivre l'histoire de la chapelle au 18e siècle au travers des comptes rendus suivants des visites pastorales. Ainsi, dans la visite de 1712 : "la 2nde chapelle au dehors est celle des penitens blancs sous le nom de notre Dame de la Fleur. L'edifice est bon [...] il y a six fenêtres vitrées avec fil darchal et de meme l'oeil de boeuf sur la porte, la voute bonne, le sol inegal en deux endroits". La titulature citée ici est étonnante d'autant qu'une autre chapelle, près du Verdon, porte cette même titulature. En 1745 : "la chapelle des penitens blancs située à la cime du village, on n'y fait aucune fonction puisqu'elle a servi de magasin. Tableau et retables sont bons [...]. Le vaisseau de la chapelle est vouté, les murailles ont besoin d'être crepies et blanchies ; il y a tout autour des bancs pour les confreres". L'évêque ordonne "qu'avant qu'elle soit bénie de nouveau" des travaux soient réalisés. En 1768 : "le tableau de l'autel represente st Pierre est en bon état. [...] Nous avons examiné les murs et la voute de la chapelle qui ont besoin d'être reparés et blanchis". Si le tableau du maître-autel figure saint Pierre, la titulature de la chapelle a dû changer : elle sera à partir de ce moment nommée chapelle Saint-Pierre. En 1775 : "la chapelle exige beaucoup de réparations tant pour les ornements que pour l'intérieur qui sera reblanchi en entier. La porte d'entrée sera reparée incessament". En 1785, les travaux ont dû être réalisés puisque "tout est en ordre".
A la Révolution, la chapelle est saisie, comme tous les biens du clergé. Elle est ainsi décrite dans le procès-verbal d'estimation en 1795 : " edifice cy devant chapelle des freres penitents contenant trente cant. sol, confrontant rues publiques de toutes parts". Plus loin "les citoyens municipaux de Thorame Haute nous ont déclaré que [...] les chapelles du Serret et des pénitents leur étoient necessaires pour des magazins à fourrage pour la république". En 1797, la communauté de Thorame-Haute rachète l'ensemble des chapelles du village.
Les visites pastorales du 19e siècle montrent que la chapelle reste entretenue : en 1858, elle est "assez décente mais humide" puis en 1876, elle est "bien restaurée depuis peu", la toiture a été refaite, la voûte est en bon état, les murs "réparés à neuf". Est également mentionné le clocher avec une cloche : ce clocher porte la date de 1828, il s'agit sans doute de la date de son érection car il n'apparaît pas sur le cadastre napoléonien de 1827.
La chapelle était, dans les années 1940 un atelier de menuiserie, elle est aujourd'hui la salle des fêtes de la commune. Elle ne contient plus de mobilier, en 1905 l'autel "avec tableau et retable" était encore présent dans la chapelle.
D'après Félix Jaume, la cloche se trouverait actuellement dans le clocher de la chapelle Notre-Dame-de-la-Fleur.
