Le couvent des Pères de la Merci a été aménagé à partir de 1672 dans une des tours et contre la muraille des remparts de Castellane. Le chantier a duré 3 ans et la chapelle, dessinée et édifiée par Mathieu Féraud, a été consacrée en 1674 par l'évêque Aubert de Villeserin. En 1710, une procédure judiciaire est lancée par les consuls de la ville contre le père commandeur qui a fait percer la muraille, ce qui permet d'imaginer que les parties construites extramuros sont antérieures à cette date, ou qu'elles datent du début du 18e siècle. Ce fut un couvent de faible importance. De sa fondation à sa fermeture, le nombre des religieux passa de quatre à un. La commanderie de Castellane a été supprimée par l'arrêt du Conseil du 29 juillet 1774. La grille en fer forgé qui surmonte le portail situé derrière l'église du Sacré-Coeur était marquée autrefois des armes d'un évêque. Ces armes ont été percées d'un 1790 lorsque le couvent a été vendu pendant la Révolution. Au début du 19e siècle, le couvent, transformé en maison, appartenait à un médecin du nom de Jacques Martiny. Il a depuis été divisé en appartements.