Après l'abandon du premier village situé sur le Castellas, le territoire de Vitrolles resta désert durant tout le XVe siècle. En 1480, Gaucher de Forcalquier, évêque de Gap et dernier descendant direct des comtes de Forcalquier, ne tirait de sa seigneurie que le produit de quelques terres de labour et vergers d'oliviers qu'il y faisait cultiver. Lorsque Georges de Castellane, neveu et héritier désigné de l'évêque, mourut en 1486 sans postérité, la seigneurie revint à un cousin germain de Gaucher de Forcalquier, Gaucher de Brancas. Le fils de ce dernier, Gaucher II de Brancas-Forcalquier, conclut le 20 mars 1504 un contrat d'habitation avec neuf chefs de famille qui acceptèrent de repeupler Vitrolles. Les nouveaux venus installèrent leurs habitations en contrebas de l'ancien village, près de l'église paroissiale.

Les débuts de la petite communauté furent difficiles et le seigneur dut consentir en 1511 une réduction de la tasque des grains et des raisins du septième au neuvième et abandonner en 1514 la banalité du four à pain. D'autres immigrants se joignirent par la suite aux premiers. En 1540, il y avait 36 maisons habitées et le cadastre rédigé en 1567 recensa 74 propriétaires - dont une vingtaine d'étrangers - 47 maisons agglomérées et 22 bastides disséminées dans le terroir. La production des céréales et l'élevage du bétail ovin et caprin constituaient alors l'essentiel des ressources des habitants. La culture de l'olivier (895 pieds recensés en 1567) prit peu à peu de l'extension et en 1592 fut établi un moulin à huile. En 1582, le curé de Vitrolles dénombrait 120 personnes de communion.

Les guerres de la Ligue, particulièrement violentes aux proches alentours (notamment à Grambois), furent probablement responsables de la forte diminution du patrimoine bâti qu'enregistra le cadastre de 1607 : pour 110 propriétaires (dont 4 non-résidents), 35 maisons au village et 6 bastides seulement, avec de nombreuses ruines. Une baisse démographique eut lieu simultanément ou dans les années suivantes : en 1632 et 1639, le curé ne comptait plus que 80 paroissiens adultes.

Les chiffres connus pour la fin du XVIIe siècle traduisent une remontée sensible : 66 familles en 1695, 70 familles et 52 maisons habitées en 1698. La crise du premier tiers du XVIIIe siècle ne paraît pas avoir eu de répercussion sur l'effectif de la population. Par transaction du 27 mars 1702, le seigneur André-Joseph de Brancas-Forcalquier octroya aux habitants, moyennant une pension féodale de 1 500 livres, l'abolition de toutes les banalités, le monopole des pâturages et usages des terres gastes et l'encadastrement des biens seigneuriaux à l'exception du château.

Mais la crise du premier tiers du XVIIIe siècle paraît avoir frappé la population. L'affouagement de 1728 recense 64 maisons et 71 familles, tandis que le curé dénombre la même année environ 180 personnes de communion et 38 familles "dont dix à peine échappent à la mendicité". Une même impression d'appauvrissement ressort du cadastre de 1732, où figurent 56 maisons agglomérées et 11 bastides pour 95 propriétaires (dont 7 non-résidents).

La situation s'améliora vers le milieu du XVIIIe siècle. Le prieur consentit en 1754 à réduire la dîme du 1/18 au 1/20 des récoltes. La petite fabrique installée près du château par Jean d'Ailhaud, acquéreur en 1753 des seigneuries de Castellet, Montjustin et Vitrolles, - fabrique d'une poudre purgative qui avait valu à Jean d'Ailhaud, médecin originaire de Lourmarin, sa renommée et sa fortune - apporta au village un surcroît de ressources. En 1765, Vitrolles comptait 84 maisons et 329 habitants ; en 1800, 350 habitants.

La principale conséquence de la Révolution fut de priver la commune des droits d'usage sur les bois du Luberon dont elle jouissait jusqu'alors. Le procès intenté à ce propos aux anciens seigneurs en 1816 et longtemps retardé par l'accession à la mairie de membres de la famille d'Ailhaud ne s'acheva qu'en 1875 par l'octroi à la commune d'environ 400 hectares de forêt. Demeurée stable - entre 300 et 320 habitants - jusqu'au milieu du XIXe siècle, la population diminua ensuite dans des proportions importantes (194 habitants en 1893). Le gel des oliviers au cours de l'hiver 1956, en tuant l'une des principales cultures locales, a achevé de dévitaliser la commune. Réduit depuis vingt ans à une cinquantaine d'habitants, Vitrolles serait aujourd'hui en voie d'être à nouveau déserté si l'on n'y comptait pas un nombre croissant de résidences secondaires (33 pour 22 résidences principales en 1975).