Avant ses extensions de la fin du 20e siècle, le bâtiment du moulin de la Serre était une petite construction de plan rectangulaire, située à une cinquantaine de mètres du cours de la Chalvagne, dans une zone en pente. Il se compose donc d'un étage de soubassement partiel où se trouve la chambre de la roue, pièce voûtée en plein-cintre et en pierres de taille de moyen appareil (la roue a été déplacée et se trouve devant le moulin) et d'un rez-de-chaussée surélevé dans lequel le seul mécanisme encore en place consiste en un treuil qui permettait d'actionner de l'intérieur du moulin l'ouverture de la vanne du réservoir. Les deux étages n'ont pas de communication intérieure. Le toit du moulin est à un pan, couvert de tuiles creuses. La maçonnerie est en calcaire et en tuf. On retrouve ces deux matériaux dans les chaînes d'angle du bâtiment, le tuf étant réservé aux parties hautes. Le réservoir a quasiment disparu aujourd'hui. Il s'agissait d'un étang d'où partait une conduite forcée. Le seul vestige de cet aménagement : le pilier maçonné qui servait de point de départ à la conduite forcée en bois de section carrée. Du sommet de ce pilier à la roue, il y a une différence de hauteur de 8 m. Il reste un premier morceau de meule dans le jardin et un second utilisé en remploi dans les marches qui donnent accès à l'extension est.