La première mention de Vidauban remonte à 1014, lors de la donation à Saint-Victor par les vicomtes de Marseille d'un manse in castro nomine Vite Albano. Le site, bien placé en bordure de l'ancienne voie Aurélienne et doté d'un riche terroir agricole, paraît avoir été assez important pour que les vicomtes rachètent en 1069 à l'abbaye marseillaise la part du castello quod appellatur Vidalban donnée par leur frère, dicens castrum illud nobilissimum atque ad defensionem sui honoris aptissimum. Le détournement du trafic vers l'intérieur (transversale Brignoles-Draguignan-Grasse) dut faire perdre quelque intérêt à la localité. Régulièrement mentionnée au 13e siècle, elle ne figure sur aucun des affouagements du 14e siècle, mais devait, d'après sa cotisation aux albergues, compter une centaine de feux en 1252 et autant en 1332. Sa réduction à 15 foyers en 1471 résulte peut-être d'un accident (destruction violente par fait de guerre ?). le repeuplement, assez lent, privilégia la plaine et fut à l'origine du village actuel. Les vestiges, assez minces, ont été un peu perturbés par la construction de la chapelle Sainte-Brigitte , édifice du 17e siècle remanié au 19e siècle.