Implanté sur un terrain en forte pente à l'est du bourg castral, l'édifice est composé d'un seul corps de bâtiment rectangulaire cantonné de 4 pavillons également rectangulaires et élevé sur 5 étages, le tout en médiocre état. La partie orientale, délimitée par un mur de refend transversal, a perdu sa couverture, ses planchers et son élévation nord, la partie occidentale a été reconstruite. Le 1er étage de soubassement règne sur la partie orientale du corps central et sur les 2 pavillons du même côté et contenait des caves avec un accès direct par l'élévation sud du pavillon sud-est. Le 2e étage de soubassement ouvrait au nord, sur une cour en terrasse reliée à la rue du village par un escalier, par la porte principale, dont il ne reste qu'un piédroit et l'amorce d'un arc en plein-cintre en grès. Cet étage contenait à l'est des pièces de service, dont témoignent, dans le mur est, un placard mural et la bouche d'un four à pain, et à l'ouest, dans la partie enfoncée dans la pente, d'autres caves obscures. Le logis occupait le rez-de-chaussée, ouvert à l'ouest par une porte en plein-cintre mouluré sur impostes dont l'encadrement en grès, mutilé et partiellement reconstitué, était probablement, comme celui du 2e étage de soubassement, couronné d'un entablement et d'un fronton, et l'étage carré. Un étage de comble à surcroît était logé sous le toit à croupes du corps central et les toits à longs pans (peut-être à l'origine aussi à croupes) des pavillons. Un escalier central desservait l'ensemble. La disposition des portes encore en place (murées) dans le mur de refend permet d'imaginer une volée droite et un grand palier parallèles à chaque étage. Les élévations étaient percées de travées de croisées et de demi-croisées, qui paraissent avoir formé, du côté sud, une ordonnance régulière sur les niveaux supérieurs, tandis que les inférieurs ne prenaient jour que par de petits fenêtres. Les contours de ces baies, façonnés au mortier de plâtre rose sous des linteaux en bois, subsistent dans la partie ruinée et ont été refaits (à l'identique ?) dans l'autre partie. Sur les élévations des pavillons, elles prennent appui sur d'épais cordons moulurés (quart-de-rond souligné d'un filet) en tuf qui ceinturent les niveaux et que l'on ne retrouve pas sur le corps central. Si elle n'est pas volontaire, cette différence de traitement pourrait indiquer un écart entre les constructions du corps central et des pavillons. Ces derniers sont d'ailleurs très visiblement collés contre les extrémités des élévations nord et sud du corps central, avec lequel ils communiquent par des portes. A l'appui de cette hypothèse, on notera en outre que le bâtiment central a conservé (du côté est, encore observable) des chaînes d'angle en moellons équarris, alors que les pavillons ont reçu des chaînes d'angle en pierre de taille. Reste à déterminer où et quand les Périer, seigneurs de Clumanc, ont trouvé le modèle de ce parti, très original dans une région restée longtemps fidèle au type médiéval du logis cantonné de tours rondes.