Le bâtiment a probablement été construit dans la seconde moitié du 19e siècle ; en 1840, date d'établissement du cadastre napoléonien, la zone ouest du cours n'est pas encore urbanisée. La maison accueille dans un premier temps le Café Ermite, appartenant à Monsieur Menut. Le bâtiment mitoyen sur la rue du Jeu de Paume abritait le cercle du même nom, créé en 1907 ou 1909 et fermé en août 1921. Au même moment, M. Brémond achète le café Ermite et le vend un mois plus tard, au même prix, à Joseph Lieutaud, pour y installer le siège social de la nouvelle association Cercle de l'Avenir constituée quelques jours avant. Le Syndicat Agricole, créé le 21 décembre 1921, s'installe dès sa création dans les locaux du cercle de l'Avenir.