Le jardin d'un hectare est entièrement installé sur une succession de terrasses qui s'appuient sur les escarpements rocheux du front ouest de la ville haute. Dans la partie haute, les vieux oliviers et les aloès rustiques avaient été conservés. C'est là, en bordure de la courtine de l'enceinte, que se trouve la tombe d'Olivier Voutier. Des iris pourpres et des kennedias bordaient l'avenue longeant le mur de soutènement de la terrasse au sud de la maison, ombragée par 2 arbres remplacés ensuite par des phoenix canariensis. La végétation des terrasses, dont le tracé suit les irrégularités naturelles, formait des masses fleuries colorées, avec de nombreux arbustes, des arbres de Judée, un énorme caroubier ceinturé de violas. Du lierre recouvrait la tour ronde au milieu d'un tapis de pervenches, violettes, orchidées et anémones. Au-dessus de la maison, une pièce de gazon occupait toute une terrasse bordée de cyprès et que ponctuait un banc sous une pergola envahie par un rosier. De là, quelques marches descendaient vers la terrasse dont les mandariniers se détachaient des plates-bandes de freesias jaunes et encadraient l'allée centrale, avec une palissade d'arcades de cyprès sur le côté est. Au-dessous s'étendait la terrasse des orangers, conçue de même. En remontant, on trouvait une terrasse de rosiers, une autre était un parterre fleuri d'héliotropes, de jonquilles et autres fleurs printanières. A l'ouest de la maison le jardin tropical et de rocaille où les plantes prospéraient était réputé. Juste au nord, la pergola s'élevait d'un tapis de violas et de tulipes.