Le Manoir est l'une des demeures les plus anciennes de Port-Cros. Elle a été édifiée vers 1830 par le duc de Vicence alors propriétaire de l'île. L'architecture s'inspire de celle des bastides provençales des 16e et 17e siècles. A la fin du 19e siècle, elle appartient au marquis Costa de Beauregard, académicien qui y accueille des personnalités du monde littéraire et politique. Melchior de Vogüe y situe des épisodes de son roman Jean d'Agrève paru en 1897. En 1927, elle devient une annexe de l'Hostellerie Provençale puis, après un total remaniement des distributions intérieures, un hôtel indépendant en 1948. L'escalier d'origine a été détruit. Le vestibule et le salon d'entrée avec leur décor de colonnes ont étés aménagés à cette époque.