Les limites des communes de Roquestéron-Grasse, Conségudes et Les Ferres, qui ne tiennent pas compte du relief, suggèrent une ancienne origine commune à ces trois territoires. Le territoire de Roquestéron-Grasse (L'Olive) apparaît avant le début du XIe siècle. Il est plus difficile de dire quand la seigneurie des Ferres a été détachée de celle de Conségudes, probablement au début du XIIIe siècle. Au XIIe siècle, dans un acte concernant une donation à l'abbaye de Lérins, le premier des témoins se dénomme Guillaume de Conségudes. Ce rang parmi les personnages présents suggère l'existence d'un château de Conségudes. Celui-ci se trouvait sur le sommet du Mont Saint-Paul, sommet dominant le village actuel sur lequel se trouve aujourd'hui la chapelle Saint-Paul. Les traces au sol d'une fortification y sont encore bien visibles.