L'ancien collège d'Annot se compose de plusieurs bâtiments. Celui qui se situe à l'est du chemin d'Argenton se déploie tout en longueur (7,5 m X 50 m). Il est bordé par une vaste cour arborée. Le léger angle qu'il forme en son milieu marque la principale étape de son agrandissement vers le nord dans la seconde moitié du 19e siècle.
A l'ouest, plusieurs bâtiments se développent perpendiculairement au chemin. Ils sont reliés au précédent par un passage surélevé qui abrite la chapelle (cette dernière déborde partiellement vers l'ouest).
L'ancien "préau couvert", composé d'un toit posé sur des colonnes de grès, remploie probablement des éléments anciens dont un chapiteau roman.
A l'origine du collège : la donation d'Antoine Robion
En 1735, Antoine Robion, curé de Rigny en Bourgogne1 et originaire d’Annot, manifeste sa volonté d'effectuer une donation à la communauté des habitants de « sa patrie », en vue de fonder un collège dont il entend confier la charge de régent à son neveu Jean André Robion. Sa donation est prévue pour se monter à 6000 livres. Cette somme considérable doit permettre de racheter les moulins dont la mise à ferme est estimée après de nombreux rebondissements à 650 livres annuels. Est ainsi assurée la rente nécessaire au fonctionnement du collège qui semble voir le jour en 1739. Une seconde donation est envisagée pour établir une seconde classe, pour filles cette fois, et rémunérer la maîtresse qu’il faudra recruter. Une maison rue Droite est achetée à ses propriétaires Marie Gantier et Angelin Roux pour être donnée à la communauté et servir de salle de classe.
Rapidement pourtant les relations entre les consuls et M. Robion se tendent en raison des conditions demandées par Antoine Robion en faveur de son neveu et des complications juridiques qu’entraîne la donation. La ferme des moulins est abandonnée, et le conflit s’enlise pendant de longues années. Dans les années 1750, le conflit s’est apaisé et M. Robion retrouve de meilleures dispositions. Outre l’école pour filles, une nouvelle donation de 3000 livres est envisagée pour le recrutement d’un second régent, et ce sont donc deux écoles de charité qui doivent être ainsi créées. Pour satisfaire aux décisions gouvernementales et aux contraintes fiscales, il s’agit bien d’écoles de charité pour enfants pauvres. Malgré tout, les enfants issus de familles aisées y sont admis moyennant un droit (6 sols pour un garçon et 3 pour une fille) et le latin y est enseigné.
Un bâtiment de nombreuses fois transformé
Les archives semblent indiquer que le collège a vu le jour en 1739. La porte du bâtiment qui l'accueille est surmontée d'une date qui pourrait être 1742 2.
Le bâtiment du 18e siècle n'occupait que la moitié des constructions qui longent à l'est le chemin d'Argenton. Il correspond à la parcelle 95 du relevé du cadastre napoléonien. Les bâtiments figurés par ce même plan sur les parcelles 89 à 94 sont alors des bâtiments ruraux.
En 1848, à la suite d'un legs par Mgr Montblanc, archevêque de Tours, originaire de la commune voisine de Montblanc, une école de garçons est construite dans le prolongement du collège et est établie sous la direction des Frères de l'instruction chrétienne. Les bâtiments qui longent aujourd’hui le chemin d'Argenton côté ouest marquent toujours un angle au sol à la limite du collège d’origine et de la nouvelle école. Le projet de cette construction est dressé par Marc Antoine Féraud, "maître-maçon et architecte".
Au milieu du 19e siècle, le collège n'a pas encore franchi la rue. Les bâtiment ouest et le passage surélevé, qui abrite en partie la chapelle, n'existent pas, comme on peut le voir sur le relevé cadastral de 1830. Il n'a pas été possible de dater précisément cette extension. Elle s'est faite en deux temps puisque le bâtiment nord, construit en appentis, a enveloppé une ancienne élévation extérieure.
La construction d'une nouvelle école de garçons projetée dès les années 1860 et aboutie en 1882 a probablement entraîné la disparition de l'école des frères et la fusion des deux bâtiments. Un plan de 1880 désigne comme collège l'ensemble des constructions situées à l'est du chemin. D'importants travaux ont accompagné cette fusion, bien observables aujourd'hui dans l’homogénéité des encadrements des portes de l'élévation côté jardin. La complexité des distributions intérieures en témoigne aussi : les plus vieilles portes d'accès ont été obstruées et de nouvelles ouvertures ont dû être pratiquées dans les murs longeant le chemin. De nombreux degrés ont été établis pour racheter des demi-étages, un nouveau grand escalier a été percé.
Le collège a servi de camp d'internement pour les prisonniers germano-autrichiens pendant la Première Guerre mondiale (1915-1919), ce qui pourrait expliquer que les baies verticales donnant sur le chemin au-delà du passage couvert aient été réduites à une petite ouverture horizontale. En 1955, l'ancien collège devient un établissement dépendant du collège Stanislas des monts de Paris, son école de plein air appelée "AERIUM". A la suite de l'ouverture du collège public d'Annot en 1960 (référence : IA04002979), le collège Stanislas ferme son école annotaine. Les bâtiments sont alors largement délaissés, servant de centre de colonies de vacances sous le nom la Respelido.