La chapelle est construite sur un site sans doute occupé dès l’Antiquité. Un temple païen puis gallo-romaine aurait été édifié en ce lieu. Le sié en ce lieu. En atteste une inscription gravée sur une pierre funéraire visible à l’entrée du porche, elle a été découverte lors d’une réparation de la chapelle en 1828. Cette inscription daterait du 1er siècle dont la transcription serait : « Sur cette voie Pompeia Sexta fille de Pompée de la tribu des Voltiniens, a fait ériger ce temple à Diane avec l’aide puissante de son frère qui en était flamino et préfet du divin ».

L'édifice primitif pourrait être médiéval, avec remploi dans la construction de pierres provenant à la fois du temple et de villas romaines. D'après le vocabulaire architectural, la façade pourrait avoir été modifiée au 16e siècle. Au 17e siècle, un porche a été ajouté au-devant de cette même façade ouest. En 1670, un ermitage est construit au sud du choeur, il est encore visible sur le cadastre napoléonien de 1835 mais il est en ruine aujourd'hui. Un clocher peigne à une seule baie a été érigé à l'aplomb de la façade occidentale en 1818.

La chapelle était à l’origine placée sous le vocable de saint Marc en atteste le mot latin « MARCVM » inscrit sur le linteau de la porte.