Les premières mentions de Notre-Dame-du-Serret se trouvent dans les chartes de l'abbaye Saint-Victor : depuis 1138 le prieuré est annexé à celui de Saint-Pons du Fugeret. Ce lien a pu générer des confusions quand à la circonscription ecclésiastique dont dépend Thorame-Haute : si Le Fugeret est dans le diocèse de Glandèves, Thorame-Haute appartient à celui de Senez. En 1570, on trouve également une charte de fondation d'une vicairie à Notre-Dame-du-Serret par le prieur du Fugeret. Cette vicairie existe toujours peu avant la Révolution puisqu'Achard écrit : "la vicairerie perpétuelle de ND du Serret est à la nomination du prieur du Fugeret ; ce bénéfice dépend de St Victor de Marseille".

Indépendamment du cartulaire de l'abbaye Saint-Victoire, on trouve trace, dans les pouillés du diocèse cette fois, vers 1300, de l'ecclesia de Serreto Thoramine superioris, puis, en 1376, de l'ecclesia Beate Marie Toramine superioris. C'est en général la paroissiale qui est ainsi nommée : cette édifice était donc celui d'une paroisse, indépendante de celle de Saint-Julien dans le village, un peu plus bas. Elle reprend d'ailleurs ce statut à partir de 1574, lorsque l'église paroissiale Saint-Julien est détruite par les protestants, le temps de sa reconstruction. Cet élément est mentionné dans la visite de 1712 qui cite celle de 1573 : "le registre de Mgr Clausse fol. 80 portant qu'il la confera en 1573 comme église rurale". Cela est par ailleurs rappelé, dans la visite pastorale de 1697, par la présence de fonts baptismaux, qui sont canoniquement réservés à la paroissiale : "chapelle de Nostre-Dame-du-Serret prioré annexe du prioré du Fugeiret, une vieille pierre des fonts baptismaux comme ladite chapelle a été autrefois paroisse".

Même s'il est aujourd'hui très remanié, l'édifice pourrait en effet dater du 13e siècle.

Les procès-verbaux de visites pastorales, conservés pour cet édifices à partir de 1602, en donne un état régulier. En 1602 précisément, il y a des travaux à faire : "Item que le prieur de Nostre-Dame du Serret sera tenu faire refaire l’église dud. Nostre-Dame bien et deuement couverte affin qu’il ne y pleuve, fermée avec portes, serrure et clef et en icelle y dresser l’autel, au milieu duquel fera faire ung retable painct en huille de l’imaige de Nostre-Dame et ce aux despens du prieur de Nostre-Dame du Serret que pour cest effect avons saisy la troisiesme partie des fruictz es mains des consulz quy s’en chargeront en bonne et deue forme. Item avons ordonné que où led. prieur de Nostre-Dame du Serret ne satisfera à ce que dessus dans ung mois ou qu’il nous fera apparoir par acte public du prix-faict qu’il en aura donné pour réparation de lad. église et retable led. temps passé avons permis ausd. consulz les donner à prix-faict à la chandelle estainte et à la meilleure condition que ce pourra et lequel acte de prix-faict seront tenus lesd. consulz rapporter apr devant nous greffier huict jours après". On notera que tout cela doit se faire au frais du prieur qui a ses revenus propres et indépendants de ceux du diocèse puisqu'il dépend de l'abbaye Saint-Victor.

En 1606, les travaux n'ont pas été menés à bien puisque l'évêque saisit une partie des revenus de la chapelle et condamne le prieur à une amende de trente livres. En 1609, les pénalités sont encore alourdies pour contraindre le prieur à faire exécuter l'ordonnance. En 1672 enfin, l'évêque semble satisfait de sa visite : "laquelle avons treuvé en bon estat, l’autel garny d’un retable où sont représentés la Sainte Vierge, saint Gervaise et saint Cler, une estatue de la Sainte Vierge de marbre". Il ordonne cependant que "l’église sera blanchie et les fenestres vitrées, réparer le toit et autres endrois d’icelle ou bezouin sera".

En 1712 : "L'édifice est ancien, il a besoin au coin de la porte d'en bas vers le nord d'être réparé avec du mortier [...] Il manque encore quelques planches au toit, et quelques lauves à celui de la sacristie. En dedans, l'arcade où est l'autel est un peu pénétrée par les pluyes. Le sol de grosses pierres est fort dur et inégal, la voute de bois est assez bonne, de même que la vitre et le fil d'archal a coté de l'Epitre". Puis en 1718 : "nous ordonnons pour la chapelle Notre-Dame-du-Serret que l'arcade au dessus du tableau sera reparée, tout le presbytère racomodé et blanchi". En 1745 : "les murailles sont en état, la porte de la sacristie ne ferme pas à clef, il n'y a point de vitres à la festre de lad. sacristie et la pavé d'icelle a besoin d'être reparé de meme que le pavé de la nef qui n'est pas uni en certains endroits [...] La muraille du coté du midi a besoin d'être reparée vers la petite porte".

En 1749 les travaux n'ont toujours pas été réalisés mais en 1768, "le sanctuaire nous a paru assez en etat. les murailles sont bonnes et bien blanchies. Le pavé est bien fait. Il n'y a que quelques réparations à faire à la voute en bois pour empêcher qu'il n'y pleuve, et un vitrage à mettre à la fenestre qui éclaire l'autel. La sacristie est également en état. Les murailles sont bonnes et blanchies à neuf. Il faut seulement que l'on répare un endroit du pavé et que l'on mette un vitrage à la fenestre. Nous avons ensuite examiné toute la nef de l'église qui nous apru dans un très mauvais état. Il y pleut par tout. Le toit et la voute sont tous délabrés, il faudrait les refaire en entier. Les murailles ne sont ni crépies ni blanchies. Le pavé en pierre brute est on ne peut plus mauvais. Les deux portes sont presque hors d'usage et sur tout la grande porte d'entrée qui n'a ni clé ni ferrure".

Ces états des lieux, entre 1712 et 1749, permettent d'avoir une image de la chapelle : la nef est couverte d'un toit en bardeaux et voûté de bois, elle est pavée de dalles de pierre, elle est percée d'une baie et d'une petite porte au sud et d'une grande porte, sans doute à l'ouest, elle est prolongée par une abside voûtée en cul-de-four, éclairée également par une baie. Il existe une sacristie (disparue aujourd'hui), éclairée par une baie et couverte d'un toit de lauzes.

En fait cette situation est lié à un litige dont on trouve trace dans les archives : on ne sait qui, de la communauté ou du prieur, doit régler les travaux. L'affaire est donc portée devant la sénéchaussée de Digne qui tranche en faveur de la communauté, et donc en défaveur du prieur, en 1773.

Pour autant, l'état de la chapelle continue à se dégrader, aucun travaux n'étant réalisé la chapelle est interdite. Lors de la sa visite de 1775, l'évêque enjoint une nouvelle fois le prieur de faire les travaux : "l'église de Notre-Dame-du-Serret interdite par notre prédecesseur sera reparée tant pour le batiment que pour le couvert soit dans la partie du sanctuaire soit dans la nef, dans [laquelle] le pavé sera refait". En 1785, la situation n'a pas évoluée.

A la Révolution, en 1795-1796, le bien "cy devant chapelle rurale au mont serret" est évalué en vue d'être saisi, comme tous les bien du clergé, cependant "les citoyens municipaux de Thorame Haute" font valoir l'utilité de l'édifice pour un tout autre usage afin d'éviter la saisie et la vente : la chapelle leur est "necessaire pour des magazins à fourrage pour la république". La chapelle est ainsi décrite lors de l'estimation : "nous avons examiné l'état du batiment de ladite chapelle Notre-Dame-du-Serret et le terrain gazonné autour d'icelle [...] . Les murailles [sont] en assez mauvais état [...] ladite chapelle servant de magasin national dans laquelle il y est enfermé divers quintaux de paille, couverte de mallons de briques".

La chapelle va sans doute garder, à partir de la Révolution, cette fonction de grenier à foin ou de remise. On ne trouve en effet plus aucune mention la concernant dans les visites pastorales qui reprennent au 19e siècle, ni dans le questionnaire sur l'état des paroisse. Son mobilier n'est pas non plus inventorié en 1905.

En 1983, lorsque Luc Thévenon publie son ouvrage il indique que : "la voûte est effondrée, l'abside éventrée". Lors de l'enquête de l'Inventaire, les restaurations sont en cours pour restituer le couvert de l'édifice. L'opération est menée pour la commune par l'Association de Sauvegarde du patrimoine culturel de Thorame-Haute. L'idée est de transformer la chapelle en maison de la culture. Les baies ont été modifiées, notamment la porte occidentale qui est une création, la façade ayant été éventrée pour créer une grande porte de remise. L'appareil présente de nombreuses irrégularités, il semble constitué d'un assemblage de petits moellons grossièrement équarris dans la partie occidentale de la nef, tandis que les moellons sont plus gros dans la partie orientale ainsi que sur l'abside.