Le quartier de la Ville est à une altitude moyenne de 714 mètres. La confrontation des cadastres napoléonien et actuel montre que la trame du bâti a très peu évolué. La situation du village sur un site perché a limité les extensions. Ce village-tas de forme circulaire s’organise autour de trois places. L’une s’est développée à partir de l’église paroissiale, en formant des îlots denses de bâtiments mitoyens, certains totalement imbriqués, composés de maisons d’habitations et d’entrepôts agricoles. L’autre derrière l’ancien four communal et dans le prolongement de la place formée par l’église. La dernière place plus au nord, dite place de la Tour s’est constituée à proximité de l’actuelle école. Les rues sont relativement étroites et le plus souvent de forme circulaire. Les constructions se font sur la hauteur, pour former un brise-vent et lutter ainsi contre le froid et surtout contre l’exposition au vent violent. La plupart des bâtiments disposent d'un sous-sol et /ou d’un étage de soubassement. Sur le cadastre de 1830, on constate une concentration de bâtiments à vocation agricole relégués en périphérie, dans les parties nord, nord-est et nord-ouest du village, formant une sorte de rempart. Quelques rues possèdent un nom. La Basse rue, située au sud-ouest du village présente une trame de maisons en lanière. Ce quartier aurait eu une fonction spécifique, selon la tradition orale. Il aurait été dévolu au tissage du chanvre, pour la confection de draps, la culture des parcelles de chanvre rendue possible grâce au canal d’arrosage situé en contrebas du village. Une des caractéristiques constantes du bâti de Saint-Benoît s’appuie sur un réseau de caves taillées dans le grès - transformées pour certaines en remise - sur l’ensemble du village. Certaines relient plusieurs parcelles. Les caves passaient sous l’église, jusqu’au terrain qui sert actuellement de parking. Ce dédale de pièces existait peut être dès l’origine du village et aurait pu servir de fondation aux habitations successivement transformées au cours des siècles. Depuis les années 1960 et la déprise agricole qui a suivi, le village a évolué dans la répartition des fonctions. Si globalement la trame du bâti n’a guère bougé, de nombreux entrepôts agricoles ont été remaniés et transformés en maison d’habitation. Certains ont permis d’agrandir une maison attenante. D’autres ont été totalement abandonnés et quelques-uns même menacent ruine. La plupart des maisons ont également été remaniées ou sont en train de l’être, rendant difficile une datation précise, antérieure au cadastre napoléonien et donc à la charnière du 19e siècle.