Le village est mentionné dès le 12e siècle sous le nom de Sanctus-Théoffredus. Désigné comme Saint-Chaffre du 16e siècle jusqu'au 18e siècle, puis comme Saint-Chaffrey. Noyau médiéval autour de l'actuelle église Saint-Arnoul et de la Villette. Au 16e siècle, le village se déplace vers le sud, le long du ruisseau Sainte-Elisabeth. Une nouvelle église est construite et les hameaux des Aillauds et de la Rua et des Faures se développent. Le quartier de Barmoire devient au 18e siècle le plus important. Nombreux incendies au 18e siècle. : en 1714 à la Villette, en 1726 autour du chemin du four. En septembre 1815, 58 maisons furent la proie des flammes. Nouvel incendie en octobre 1815 qui anéantit 9 maisons au quartier de Faviore ; 38 maisons seront de nouveau détruites par l'incendie de 1907. Enfin, 42 maisons furent détruites par les bombardements en 1944. Le bourg fut partiellement reconstruit après 1945 et très transformé dans les décennies suivantes pour répondre à la fréquentation touristique.