Principaux édifices
L'ancienne église dédiée à saint Sébastien et saint Ferréol avait été édifiée au centre du village (actuelle place de la Fontaine) au 16e siècle. En ruine à la fin du 19e siècle, elle est remplacée en 1900 par l'actuelle église Saint-Sébastien et détruite en 1917. Voir dossier de l'actuelle église.
Une école primaire a été construite par Jean-Baptiste Pierlas, maçon, en 1872-1873 sur les plans de l'architecte Guiraud. En 1882, elle est déjà en mauvais état et insuffisante du fait de l'accueil d'une partie réservée aux filles.Entre 1899 et 1932 se succèdent plusieurs projets de construction d'un groupe scolaire ou de réhabilitation de l'école primitive, voire même d'installation de l'école dans l'ancienne église désaffectée. En 1934, les travaux de construction du groupe scolaire sont enfin adjugés à l'entrepreneur Cornu, sur un plan de l'architecte Philippon. Les travaux sont terminés en 1935.
En 1867, la mairie se résume à une chambre enclavée dans un appartement n'appartenant pas à la commune. Il est projeté de vendre la pièce et d'en restaurer une autre située au-dessus de la forge pour y installer la maison commune. En 1869 les travaux d'appropriation sont terminés.
Dans les années 1890, plusieurs travaux de construction ou de réfection des fontaines et lavoirs sont réalisés, ainsi que le couvrement du ravin de Pra Belon (voir ces dossiers).
En 1878, autorisation est donné à Irénée Gibert de construire un four à plâtre à 350 mètres du village, entre le torrent et la route nationale.
L'habitat
L'habitat est concentré dans le village de Vergons et le hameau de l'Iscle, qui sont des villages-rues constitués d'îlots de bâtiments mitoyens, adossés à la pente.
Le village de Vergons est à une altitude moyenne de 1035 mètres, celui de l'Iscle est à 935 mètres d'altitude environ. Vergons est situé au bord de la Route Nationale 202, qui est l'ancienne route royale de Lyon à Nice.
Le village est constitué de deux quartiers séparés par le ravin de Pra Belon : le Village (également appelé "la Bourgade" sur le cadastre de 1830) et les Granges.
Le quartier du Village
Le quartier du Village, au pied de la colline de Saint-Ferréol, est organisé en îlots denses, parallèles à la Grande Rue et à la rue de Saint-Ferréol, et séparés par des traverses (localement appelées "andrones").
Il est principalement occupé par des maisons d'habitation qui possèdent également des fonctions agricoles ou artisanales. A quelques exceptions près, les bâtiments agricoles sont placés à la périphérie du village. Un îlot de plan régulier (parcelles E 102 à 105) correspond à l'ancienne maison seigneuriale (dite "le château"). L'ancien pavage de la Grande Rue était fait de grandes dalles calcaires, un lavoir-abreuvoir est placé dans la Grande Rue. Le ravin de Pra Belon a été couvert par une voûte maçonnée en 1891 et une fontaine à bassin circulaire a été installée.
Le quartier des Granges
Le quartier des Granges, entre le ravin de Pra Belon et le ravin de la Font de Claude, s'étire le long de l'ancienne route. Il est très majoritairement occupé par des bâtiments agricoles, qui sont construits directement en contrebas des aires à battre. On y note néanmoins quelques maisons d'habitation sur le cadastre de 1830. Un grand lavoir couvert et une fontaine bordent la rue. Sur le cadastre de 1830, on note de nombreux jardins qui sont installés en contrebas du village, au pied de la colline de Saint-Ferréol (quartier dit "sous Ville"), ainsi que sous l'église Saint-Sébastien ; les parcelles libres situées entre les maisons du quartier des Granges sont également occupées par des jardins. Sur ce même cadastre, quelques aires à battre sont mentionnées au pied de la colline de Saint-Ferréol. Mais la majorité des aires à battre se situent au quartier des Granges, en contre-haut des bâtiments agricoles (plus d'une cinquantaine de parcelles concernées). En 2008, un quartier de maisons pavillonnaires est implanté à l'est du quartier des Granges.