Les remparts de Castellane sont datés traditionnellement de la seconde moitié du 14e siècle. Ils auraient été entrepris à partir de 1359. Des maisons se sont probablement blotties contre la muraille dès le 15e ou le 16e siècle. Une des tours, ronde, de cette défense a été intégrée par la suite à la construction de cet immeuble. A la fin du 17e siècle, deux maisons occupent cet emplacement. Celle de Joseph Blanc, bâtier, sur la parcelle 346 du cadastre napoléonien, qui y avait aussi sa boutique, et celle, beaucoup plus importante, de Barthezar Aubert, procureur du roi, sur la parcelle 347, qui comprenait en outre une étable et un pateq (parcelle de terrain, souvent en friche, située devant une propriété et marquée par des servitudes de passage ou de copropriété). De cette époque restent les deux parties très nettement différentes de la façade. Reste aussi l'encadrement de la porte, qui se trouve dans la partie de la façade correspondant à la maison du bâtier, mais dont tout porte à croire qu'il s'agissait en fait de celui du procureur, et dont on peut imaginer qu'il fut déplacé lorsque les deux maisons ont été fusionnées. Cette opération est sans doute intervenue à la fin du 19e siècle. En 1834, au moment de la réalisation du cadastre napoléonien, les deux parcelles étaient encore distinctes et appartenaient respectivement à Giraud André, dit Brise Paille, pour la plus petite, et à Joseph Désiré Collomp, qui était lui aussi procureur du roi, pour la plus grande. La fusion a consisté à supprimer l'escalier de la maison du procureur en rez-de-chaussée pour dégager un espace de boutique, et à utiliser la première volée droite de la petite maison pour accéder, au premier étage, à l'ancienne cage d'escalier des procureurs, qui a alors été entièrement reconstruite. Les deux logis ont été divisés en de nombreux appartements et la porte a donc vraisemblablement été déplacée.