Evolution historique
Premières mentions médiévales
La première mention de Saint-Cassien est celle d'une cella (prieuré primitif où résident les moines) dépendant de l'abbaye Saint-Victor de Marseille grâce à une donation de 1043. D'après le cartulaire de Saint-Victor, cette donation comprend un château à Amirat et une église Saint-Cassien, ainsi que les terres en dépendant. Le territoire ainsi donné est décrit par rapport au col Avenos et à la rivière Calvaniam. Baratier en déduit que le lieu d'implantation de la cella, ne se trouve pas nécessairement à l'emplacement actuel du hameau de Castellet-Saint-Cassien mais entre ce lieu et Amirat. Tout porte à croire cependant que l'église offerte à l'abbaye est déjà à cet emplacement, tant par la description du lieu dans l'acte de donation que par les informations ultérieures données par les pouillés. Ainsi, dans les pouillés du diocèse de Glandèves, cet édifice est mentionné dès 1376 comme ecclesia de Casteleto sancti Cassiani, ou encore, au 16e siècle, ecclesia Castri Sancti Cassini. Une chapelle, se trouvant à l'emplacement du cimetière actuel, a été détruite avant 1840, elle apparaît sur le cadastre napoléonien (parcelle 1818 B 76). Il pourrait s'agir, sinon de cette ecclesia du 14e siècle, du moins de ses vestiges, ou de la mémoire de son emplacement.
D'après Isnard, les Glandevès (ou Glandevez) sont seigneurs de ce fief à partir de 1231 (1232 pour le baron du Roure) et jusqu'à la Révolution. Dès 1232, on trouve mention du Castelletum Sancti Casiani, à nouveau en 1252 du castrum de sancti Cassiani ou castrum de Castelleto, à nouveau en 1419 (Isnard). Sur la carte de Cassini, vers le milieu du 18e siècle, il est nommé le Castellet de Glandeve. 
De la construction du château (1659) à la Révolution
Il est sans doute dès l'origine conçu comme une bastide fortifiée avec un corps rectangulaire flanqué de deux tours circulaires au sud, forme architecturale fréquente dans les Alpes-de-Haute-Provence à cette période. On peut à ce sujet consulter les notices des châteaux d'Eoulx (Castellane), de Tartonne (Référence IA04000727) et, dans une moindre mesure, de Villevieille (sur la même commune, référence IA04001745), de Moriez (Référence IA04001545) ou de Méouilles (Saint-André-les-Alpes, référence IA04002571).
L'inventaire réalisé en 1792 au moment de la vente du château comme "bien de l'émigré Glandèves", donne une description détaillée de la disposition intérieure du bâtiment ainsi que de son ameublement. Le rez-de-chaussée semble dévolu à la domesticité et au travail, le vestibule, orné "d'une fontaine avec un grand bassin le tout en airain", ouvre sur un "salon tapissé en cuir doré" avec décor coloré, visiblement meublé comme un bureau, sans doute la pièce au sud (non divisée à l'époque). Ce salon est attenant à "l'office" (sorte de cellier au vu de son contenu), la plus petite pièce à l'est (qui ne communique pas avec le vestibule). Enfin du cellier, il est possible de passer à la "cuisine", au nord. Aucune description n'est spécifiquement donnée des pièces à l'intérieur des tours.
Au premier étage, l'étage noble, la "grande salle tapissée en cuir doré" est meublée de meubles de repos (type bergère) mais aussi de tables de jeu ; la cheminée est munie de "deux gros chainets [sic] en pesant environ cinq livres". Il s'agit sans doute - si l'on tient compte du sens de visite lors de l'établissement de l'inventaire - d'une seule grande pièce au nord (aujourd'hui cloisonnée). De cette salle, on pouvait accéder à la "chambre rouge tapissée de damas ou étoffe de faye [sic] rouge et blanc" (plus petite pièce à l'est, derrière la cage d'escalier), meublée comme telle avec notamment "une couchette [...] en noyer [...] à la duchesse". Cette salle est nommée, un peu plus tard dans un récolement précédant la vente, "la chambre rouge". Cette chambre communique également avec "un autre appartement appelé la tour tapissée d'une toile peinte de plusieurs couleurs", une seule grande pièce au sud (aujourd'hui cloisonnée) ; il est également mentionné "un autre appartement", communiquant avec le précédent, peut-être la pièce occupant le premier étage de la tour, servant de salle de repos ("deux couchettes").
Au deuxième étage, l'espace est divisé en sept "appartements" ou chambres meublées de lits en baldaquin ou "à tomberau [sic]" ou encore munis d'un ciel de lit dont les étoffes et les couleurs sont à chaque fois décrites, le mobilier semble globalement en assez mauvais état. Les tours sont aménagées en "cabinet" ou bureau. Ainsi l'appartement "à la gauche" (soit au nord-ouest) contient deux lits, l'un à baldaquin, l'autre avec un ciel de lit "garni et entouré d'une étoffe en faye couleur verte fort usée" et le "petit appartement nommé la tour" attenant (soit sans doute le deuxième étage de la tour nord-ouest) est sans doute un petit bureau. L'appartement symétrique, celui du sud-ouest, est "tapissée d'une étoffe brochée en laine représentant des paysages", il s'agit également une grande chambre avec son "cabinet attenant" (la tour sud-ouest).
Au dernier étage, se trouve le "galetas divisé en cinq appartements", cela correspond également à des chambres, mais sans doute, considérant la qualité du mobilier, à celles des domestiques.
Le château est vendu comme bien national le 2 Frimaire an III (22 novembre 1794), il appartient, avant sa saisie, à Pierre-Raimond de Glandevès.
19e et 20e siècles
En 1817, au moment de la réalisation du cadastre napoléonien, le château est divisé en deux parcelles : la parcelle 73 semble contenir la partie nord et la cage d'escalier avec la pièce à l'arrière, la parcelle 74, la (ou les) pièce(s) au sud.
Vers 1840, un appartement du château est loué au sieur Aillaud d'Entrevaux (l'un des copropriétaires du château) par la commune pour loger le desservant de la paroisse et servir donc de presbytère. Il est décrit comme "passable mais très exigu" se composant de "trois pièces strictement dont une sert de salon, de cuisine et de chambre à coucher, l'autre de chambre de la domestique et la troisième, très exiguë sert de cabinet de provisions, il y a de plus une cave".
Par la suite, à partir de 1865, le rez-de-chaussée du château est loué par la commune pour servir d'école et de logement de l'instituteur. Le logement est cette fois décrit comme constitué de 4 pièces ; la grande pièce au sud a sans doute été cloisonnée mais pas exactement dans son état actuel, la cloison est décalée vers l'ouest. En 1875 la commune renouvelle le bail pour 9 ans. Malgré un projet de construction d'une école présenté au conseil municipal en 1883 (non réalisé car trop onéreux), le bail est régulièrement renouvelé avec les propriétaires successifs et en 1910, l'école est toujours au rez-de-chaussée du château selon la répartition suivante : dans la partie sud, la salle d'école (avec une ouverture à l'ouest et une au sud) et une chambre (ouverture au sud) ; une autre chambre à l'arrière de la cage d'escalier (ouverture à l'est) ; la cuisine demeure au même endroit (au nord). L'école quitte finalement le château en 1962.
Une photographie de 1976 permet d'observer la façade principale (façade ouest) avant la restauration des enduits : l'encadrement de pierres de taille de la porte d'entrée a perdu la corniche (partie supérieure de l'entablement), déjà très détériorée en 1976. 
Analyse et composition d'ensemble
Le château de Castellet-Saint-Cassien a été construit au sommet d'un promontoire rocheux. Le château est au centre d'un ensemble architectural : au sud, un bâtiment dit "le château neuf", au sud-ouest un cimetière, à l'ouest l'église paroissiale, et, un peu plus à l'écart, au nord un grand bassin et la ferme dépendante du château.
On accède au petit hameau et, en premier lieu au château, par une allée arborée qui ouvre sur la façade nord du château, la façade principale étant à l'ouest, vers la vallée de la Chalvagne.
Le château présente un plan massé rectangulaire accoté de deux tours rondes engagées aux angles nord-ouest et sud-ouest, un peu plus basses que le corps de logis principal. Jean-Luc Massot nomme ce type d'édifice "bastide fortifiée" plutôt que château. Le gros-oeuvre est constitué d'un blocage de moellons bruts en calcaire local, lié au mortier de chaux. L'enduit lisse est encore présent sur la façade ouest, il portait un décor de faux-appareil de pierre de taille (restitué sur la façade ouest). Les pavements, lorsqu'ils sont encore en place, sont en terre cuite, tomettes ou mallons carrés. Les toits sont couverts de tuiles creuses avec un toit en pavillon sur le bâtiment central et des toits coniques sur les deux tours, sur deux rangs de génoise.
Le château possède cinq niveaux : un étage de soubassement auquel on accède uniquement par la façade est, un rez-de-chaussée surélevé avec accès à l'ouest, deux étages carrés surmontés de combles. L'étage de soubassement ne couvre que les deux-tiers sud de l'emprise au sol du château : il s'agit de deux pièces en contrebas, allongées, parallèles, sans communication et voûtées en berceau. Par la pièce sud, on accède, par une porte avec encadrement façonné de gypse rouge, au sous-sol de la tour sud-ouest, dont la voûte maçonnée d'arêtes quasi plates à six quartiers. Dans le bas du mur, l'accès avec ébrasement en biais, muré, à la bouche à feu occulté par un volet en bois.
Le rez-de-chaussée surélevé et le premier étage carré présentent une composition similaire déterminée par deux murs de refend transversaux divisant l'espace oblong en trois. L'escalier intérieur, placé en façade, légèrement décentré, dessert deux grandes pièces, au nord et au sud, la première ouvre ensuite sur une plus petite pièce, à l'arrière de l'escalier, à l'est. Chacune de ces deux pièces offre un accès à une des deux tours. L'escalier est un escalier en vis suspendu, à l'origine avec jour (le limon étant orné), avec donc un limon porteur.
L'élévation ordonnancée de la façade principale ouest se structure autour de la porte centrale, seul ornement de la façade avec encadrement harpé de pierre de taille, en une travée de part et d'autre de cette ouverture. Cette dernière est surmontée d'une baie éclairant l'escalier intérieur (plus petite à l'origine). Les tours possèdent des canonnières étroites, circulaires ou rectangulaires, en pierre, aujourd'hui murées, disposées non verticalement alignées de manière à couvrir tous les angles de tirs. Elles sont ceintes d'un cordon de pierre à un tiers de leur hauteur.
La façade orientale est percée actuellement de trois baies éclairant les petites pièces à l'arrière de l'escalier. On observe également les fragments d'une échauguette à l'angle sud-est ornée d'un décor de gypserie. La façade sud est percée de sept baies non ordonnancées.
Les décors intérieurs de gypseries sont riches : ils ornent l'ensemble de la voûte d'escalier (Référence IM04002544) et le limon (quand il est encore visible), ainsi que les paliers.
On les trouve également à l'étage noble (premier étage carré) sur les cheminées (Références IM04002542, IM04002543, IM04002545).
Horace de Glandèves, baron de Glandèves et du Castellet-Saint-Cassien. Marié en décembre 1612 à Cassandre alias Renée d'Alvis de Castellane. Il hérite de son père Honoré de Glandèves en 1626. Il teste le 14 mai 1644 en faveur de son fils, Honoré II de Glandèves.