D'après un texte mal daté, une église dédiée à Notre-Dame et à Saint-Jean-Baptiste est confiée à l'abbaye Saint-Honorat de Lérins au 11e siècle, entre 1028 et 1046 ou vers 1074 ; elle est située sur le territoire de l'Olive ; au début du 13e siècle on construit sur les terres de ce prieuré un castrum mentionné sous les noms de Saint-Jean de la Roque, Moustiers de Saint-Honorat ou Saint-Honorat de la Roque ; vraisemblablement au 17e siècle, l'église est reconstruite et dénommée Notre-Dame-de-l'Olive ; une nouvelle chapelle dédiée à Saint-Jean est construite près de là, à gerbière, après 1640