Le perchement sur le site castral de Rougon remonte sans doute au début du Moyen Age. Une partie des vestiges actuellement visibles datent vraisemblablement du 12e siècle et du 13e siècle. A noter que plusieurs maisons du villages possèdent des pierres d'angle avec des bossages ronds, matériaux qui pourraient provenir du château. Voici la description qu'en fait l'abbé Féraud en 1831 : « L'ancien château seigneurial situé sur un rocher formant un cône tronqué, après avoir appartenu à la maison Brun de Castellane, qui réunissait les seigneurie de Caille et de Rougon, était passé en la possession de l'abbaye de Lérins, qui en jouit jusqu'à la révolution française. Il fut alors vendu comme bien national ».
Les vestiges actuellement visibles sur le site castral remontent sans doute aux 11e, 12e et 13e siècles. Sur le cadastre de 1835, la parcelle appartient au gouvernement et elle est nommée « L'Encien Chateau ». Le 30 septembre 1937, la commune achète un « immeuble » à la succession de Siméon Chaix, « lequel consiste en Rocher de la contenance de un hectare vingt centiares, situé au lieu-dit « Ancien Château » et inscrit au plan cadastral sous le numéro 1445 de la section B ». On apprend à cette occasion que Siméon Chaix avait acheté cette parcelle à l'Etat en 1907. La vente est faite pour la somme de 600 francs. Les vestiges aujourd'hui visibles sur le site castral sont très érodés. Cependant, quelques cartes postales anciennes permettent d'en avoir une vue légèrement plus développée.
Isidore Blanc, issu d'une famille de Rougon, fut l'instituteur du village de la fin du 19e siècle aux années 1930. Passionné par les gorges du Verdon, et par sa région en général, il en fut un fervent défenseur et contribua largement à les faire connaître au public. Avec trois autres habitants de Rougon, il accompagna et guida Edouard-Alfred Martel lors de l'exploration par le fond des 21 km du canyon, effectuée du 11 au 14 août 1905, et lors de celle d'août 1906.
Egalement poète et photographe, il fit éditer de nombreuses cartes postales de Rougon et des alentours. Dans les années 1910-1920, il organisait les excursions pour les alpinistes désireux de parcourir le fond du canyon. Il est décédé en 1933, à la suite d'un accident de motocyclette, à l'âge de 60 ans.
Isidore Blanc a été le pionnier du développement touristique dans les gorges du Verdon.