Une église Sainte-Trinité, qui pourrait correspondre à l'actuelle chapelle, est citée en 1227 avec une église de Saint-Julien-le-Montagnier (« ecclesiam Sancti Juliani Montanarii et ecclesiam Sancte Trinitatis »), lors d'une confirmation à l'évêque de Riez par Grégoire IX. L'analyse du bâti montre que le chœur et l'est de la nef ainsi que sa porte latérale sont datables de l'époque médiévale. L'abside présente un appareil similaire à celui de l'église paroissiale Sainte-Trinité, hypothétiquement datable de la fin du 11e siècle à la fin du 12e siècle [référence du dossier : IA83003255].
La chapelle est mentionnée par les délibérations communales lors de la séance du 18 septembre 1689, évoquant la plainte d'un particulier à l'évêque de Riez, à propos d'un échange de cloches effectué par la confrérie des pénitents blancs entre sa chapelle et celle de la Sainte-Trinité. L'ordonnance de visite pastorale du 16 juin 1756 signale des réparations à faire à l'édifice : il est ordonné que le sanctuaire soit "rétabli" et la nef reblanchie. Mais le 17 décembre 1769, les consuls demandent que la chapelle "qui tombe presque en ruine soit réparée pour en éviter la destruction totale", suite à quoi le conseil ordonne la mise aux enchères des réparations. Elle apparaît sur la carte dite de Cassini dressée vers 1780.
Durant la période révolutionnaire, la chapelle entre dans le domaine des biens nationaux. Le rapport estimatif de 1793 indique qu'elle "contient quatorze cannes, que le sol en est pavé, que le couvert de vint six cannes est appuyé sur une voute soutenue par cinq arceaux en pierre ébauchée, qu’il y a a cette voute quinze cannes six pans de bâtisse, que les murs de façade sont fortifiés par dix ancoules [contreforts], et ont trente neuf cannes quatre pans". Un rapport de 1798 la situe dans le terroir de Saint-Julien, au quartier de la Trinité "distant de la commune d’un quart de lieue confrontant du levant midi couchant et septentrion le pategue [pâturage] commun." Enfin, le rapport estimatif pour l'achat de la chapelle de la Trinité daté du 25 septembre 1822 indique que la commune vise à acheter la chapelle à son propriétaire, François-Jean-André Bosc, percepteur des contributions directes.
Des remaniements visibles au niveau des deux travées ouest (dans la nef, voûtement différent et plus maladroit, cordon plus bas, travées de largeur inégale ; à l'extérieur, contreforts moins soignés) et de la façade occidentale, pourraient dater des Temps modernes (porte en plein cintre surmontée d'un oculus), comme le clocher et les contreforts. Les deux contreforts au nord-est, masquant les piédroits de la porte latérale, on été ajoutés a posteriori. Enfin, au sud, un des contreforts plus large que les autres présente, dans ses assises, des arrêts verticaux indiquant qu'il en englobe deux précédents. De fait, le rapport de 1793 décrit dix contreforts, tandis que le cadastre de 1823 figure neuf contreforts, dont l'actuel sud-est constitué de deux contreforts réunis. Peut-être la fenêtre sud-est a-t-elle été percée ou agrandie à cette période. On peut ainsi faire l'hypothèse que l'édifice a été prolongé vers l'est, doté d'un clocher et contrebuté de contreforts durant l'époque moderne, probablement aux 16e ou 17e siècles, puis remanié à nouveau durant les premières décennies du 19e siècle.
