L'agglomération de Barrême se divisait historiquement en trois parties :

- Le site primitif de Barrême est un bourg castral perché sur le plateau Saint-Jean qui domine l'actuelle agglomération. Achard rapporte que ce bourg castral existait au 11e siècle, puisqu'un incendie l'aurait ravagé en 1040.

- la villa, c'est à dire l'ensemble des habitations rurales formant un village au pied de l'enceinte fortifié du castrum

- la bourgade ou groupe de maisons situé au pied sud de la colline du castrum et qui constitue aujourd'hui le centre du village de Barrême, au confluent de trois cours d'eau (l'Asse de Blieux à l'ouest, l'Asse de Clumanc dans lequel vient se jeter l'Asse de Moriez à l'est, avant de longer la limite sud du bourg) et deux importantes voies de circulation (RN 202 et RN 85)

Les recueils des actes des comtes de Provence mentionnent Barrême au 13e siècle avec l'hommage que Boniface de Castellane rend au comte de Provence en 1226, puis en 1235. Les traces qui subsistent du bourg castral consistent en quelques vestiges de fortifications sur une dizaine de mètres de longueur et 1,50 à 2 mètres de hauteur, remontant au 13e ou 14e siècle. Le déperchement, que d'aucun attribuent à l'incendie de 1040, s'échelonna dans le temps à partir du 11e siècle pour ne s'achever qu'au 16e siècle. Le seul édifice subsistant du castrum est la chapelle Saint-Jean, qui fut l'église paroissiale du village depuis le Moyen Age jusqu'au milieu du 16e siècle. Elle est restée un important lieu de dévotion à saint Jean-Baptiste : tous les 24 juin, une procession avec bravade s'y rendait pour une vénération des reliques du saint patron du village.

On dénombrait 140 feux de quête à Barrême, soit environ 700 habitants en 1315, quand, en 1278, Castellane en comptait 1200 et Senez, l'évêché dont dépendait Barrême, 600. En 1761 un capage (imposition établie sur chaque chef de famille) permet d'établir un total de 226 feux ou familles soit environ 1130 habitants.

En 1982 le recensement faisait état de 421 habitants et en 2006, de 509.

Le village actuel est organisé au pied de la falaise, étiré le long de la RN 202 et de l'Asse de Moriez. La partie ancienne, antérieure au 19e siècle est cantonnée à la rive gauche de la route Nationale, directement sous le dénivelé de la colline Saint-Jean. Les îlots construits en front de rue sur la rive droite n'ont aucune profondeur bâtie. Du carrefour des nationales au chemin perpendiculaire qui dessert les rives de l'Asse, le bâti date du 19e siècle.

En rive gauche de la RN 202, le village ancien est du type allongé, plusieurs îlots étagées séparés par des voies parallèles. Il s'élargit à l'est avec l'implantation de quelques îlots perpendiculaires à l'axe général de l'agglomération, créant trois petites places autour de l'actuelle église paroissiale : la place François Béraud, la place des Tilleuls, la place de la Fontaine.

Les maisons les plus anciennes remontent au 18e siècle. Ce sont en majorité des maisons bloc en hauteur où le logis est compris entre deux ou plusieurs étages à fonction agricole (étables, remises, fenils et séchoirs en majorité). Le nombre élevé de séchoirs rappelle l'importance de la production de fruits dans l'ancienne économie locale.

Sur le plan cadastral de 1838, le village occupe grosso modo la même emprise qu'actuellement, sur la rive droite de l'Asse de Moriez, la rivière ayant constitué jusqu'à la fin du 19e siècle une barrière de croissance. L'arrivée du chemin de fer de Provence et la construction d'une gare à Barrême sur la rive gauche de l'Asse en 1892 ont favorisé dans la première moitié du 20e siècle la création d'un nouveau quartier, marqué principalement par la construction des distilleries de lavande Mane, Chiris et Selin. (voir le dossier de présentation de la commune de Barrême)

A l'exception de la construction de la nouvelle église paroissiale entre 1870 et 1877, les aménagements publics des 19e et 20e siècles sont restés peu nombreux et modestes : construction de conduites d'eau et de fontaines dans les années 1886-1889 et 1906-1907, construction du groupe scolaire en 1899, construction de deux lavoirs couverts en 1923, du poids public (financé par Selin, propriétaire d'une distillerie de lavande) en 1924 et du monument aux morts en 1922.

C'est probablement 1885, date portée sur une porte charretière de l'édifice, que l'ancien hôtel Abbès a fait l'objet d'une campagne de travaux qui lui a donné son aspect actuel. Mitoyen de l'ancienne chapelle Saint-Joseph, l'hôtel occupe un parcellaire déjà bâti sur le plan cadastral de 1838. La date 1820 portée sur une des portes piétonnes du rez-de-chaussée pourrait indiquer la toute première construction. L'hôtel Abbès, du nom de son propriétaire, Louis Abbès, ancien agriculteur, puis boucher, a porté l'appellation de Relai des Postes et d'Auberge du Cheval Blanc. Il a fermé en 1940.