Le territoire de Vitrolles a la forme d'un triangle renversé, dont la base est constituée par la crête du Grand Luberon, qui s'abaisse lentement depuis les Cours (960 m) à l'ouest jusqu'au Cancel (709 m) à l'est, et les deux côtés par les vallats de Combe Loube et des Parties. Un troisième torrent, le Valladas, traverse la commune en son milieu et conflue avec les deux autres à la pointe sud du triangle. Les replis largement étalés de la montagne couvrent près des quatre cinquièmes de la superficie totale (1 615 ha).

Ce relief boisé ne laisse aux cultures que d'étroits fonds de vallons et quelques coteaux situés dans la partie méridionale. Le terroir cultivé, composé de sols assez stériles (calcaires marneux du Stampien et du Hauterivien) secs et souvent mal exposés, produit en petites quantités du vin, des céréales, de la lavande et quelques fruits (amandes, cerises).

La commune souffre en outre d'un certain isolement. Seules deux petites routes (D 33 et D 216) sinueuses et peu fréquentées la relient à ses voisines, Grambois, Peypin-d'Aigues, La Bastide-des-Jourdans et Céreste, de l'autre côté du Luberon. Le village occupe une position centrale, dans la vallée du Valladas, au pied de la colline du Castellas : site pittoresque, mais éloigné des principales zones de culture.

L'historien Lucien Gap signale la découverte, au siècle dernier, de quelques vestiges de l'époque gallo-romaine : une tête de Minerve exhumée en 1868 au pied de la colline de Pied-Gros (au nord du village), des débris de tegulae et des sépultures trouvés au même endroit et sous le Castellas. Un premier village se forma au Xle siècle sur la colline du Castellas, mais ne vécut pas au-delà de la fin du XIVe siècle. L'actuelle agglomération fut fondée par acte d'habitation le 20 mars 1503.