Selon l’abbé Féraud, la chapelle Notre-Dame-de-Vérimande aurait été un prieuré dépendant de la commanderie templière du Fugeret. J.-A. Durbec, dans son ouvrage sur les templiers et les hospitaliers en Provence, confirme que l’ordre du Temple avait un prieuré à Annot, ainsi qu’au Fugeret mais tous deux dépendants de la commanderie de Rigaud (Alpes-Maritimes).
Pour autant, le prieuré semble passer rapidement sous l’obédience de l’abbaye Saint-Pons de Nice : dans le chartrier de cette abbaye, une confirmation épiscopale de 1247 le mentionne déjà sous le titre de sainte Marie d’Annot, puis à nouveau en 1369. En 1471, la titulature se précise et il est explicitement question du « prieuré Notre-Dame-de-Vérimande ». Par ailleurs, c’est probablement également cet édifice qui est cité dans les pouillés, dans le compte royal de 1351 où il est question de l’Ecclesia Mosterii de Annoto.
Le 17e siècle est ensuite sans doute un siècle important pour la chapelle puisque des oeuvres majeures datant de ce siècle y sont conservées, rattachant la chapelle à l'histoire des reliques et de la « fête et procession des corps saints ». La relique de saint Fortunat qui y est portée en procession est aussi à l'origine de sa titulature "courante" : la chapelle Notre-Dame-de-Vérimande est, au XIXe siècle, et peut-être avant, « vulgairement dite chapelle de Saint-Fortunat » comme l’écrit le curé dans le registre paroissial.
En 1744, la chapelle « ayant croulé en partie et le restant menaçant ruine », la communauté décide de la reconstruire ; les travaux sont confiés à Joseph Prabon, maître-maçon. Elle est à nouveau délaissée après la Révolution, et d’importantes restaurations sont entreprises en 1836. Entre 1858 et 1876, l’auvent est érigé. Entre 1963 et 1972, on refait le toit et la façade de la chapelle.
