Perché à 1210 m d'altitude, sur le rebord d'un plateau à mi-pente entre la vallée du Jabron et la crête des Barres, ramification orientale du Teillon, implanté sur un mamelon, le site surplombe au sud le versant très raide et boisé de la vallée, à l'est et à l'ouest les ravins profondément creusés de deux petits affluents du Jabron. Au nord, une petite dépression le sépare du plateau et du coteau couvert de terrasses agricoles qui ont constitué jadis l'essentiel de son terroir agricole et que traverse d'ouest en est un vieux chemin qui reliait Castellane à Saint-Auban, avec un embranchement au nord, par le col des Portes, vers Soleilhas. Vers l'est, le coteau rejoint un autre plateau plus élevé, que domine le piton de Blavy, siège d'un important habitat perché protohistorique. Malgré son altitude, le bourg castral de Peyroules n'avait de communication visuelle qu'avec la Bâtie à l'ouest et Mousteiret au sud. Le château fort, à l'ouest de l'agglomération, était protégé par un fossé en arc de cercle, encore perceptible malgré le comblement. L'édifice comprenait une tour de plan circulaire, parementée en moellons équarris et assisés, dont le dernier pan, encore debout en 1970, est aujourd'hui effondré. Du corps de logis contigu à l'est, il ne reste que la base de l'angle sud-est et la trace des murs. Le hameau contient une maison entière et deux autres encore reconnaissables malgré la ruine. Dans l'une d'elles (parcelle 24 sud), on voit l'arrachement d'une porte en plein cintre à claveaux extradossés et deux blocs taillés à bossage qui proviennent vraisemblablement du château. Le chemin d'accès depuis la vallée au sud est en partie taillé dans le rocher et pavé de cailloux.