La tradition rapporte que la maison commandée par Hippolyte Adam fondateur de la banque Adam à Boulogne-sur-Mer s'inspire du pavillon de la Norvège à l'exposition universelle de 1889 à Paris. En réalité, la Norvège avait présenté à l'exposition universelle de 1889 plusieurs chalets de bois dont certains ont été récupérés et se trouvent actuellement en France (Bagnoles, Limoges). D'après une photographie conservée de la première maison du Layet, elle n'avait que peu de ressemblance avec l'architecture des chalets norvégiens de l'exposition. La maison d'Hippolyte Adam présentait en effet une architecture beaucoup plus simple, à la limite du modeste, dont l'élément le plus notable était une lucarne pignon agrémentée d'une ferme débordante.

Il est possible cependant que cette maison ait été à l'origine un pavillon acheté à l'issue d'une exposition et remonté sur le domaine du Layet comme villa. Cette construction a brûlé pendant la Deuxième Guerre mondiale et a été remplacée par la villa construite en 1951 par l'architecte Robert Delrue.

La chapelle aurait été dessinée par le peintre Jean-Charles Cazin à la demande d'Hippolyte Adam, entre 1891 date de l'installation du peintre au Lavandou et 1901, date de son décès. Une partie de son mobilier proviendrait de l'église de la colonie pénitentiaire agricole pour jeunes garçons de l'île du Levant qui a fermé en 1878. Aucune source ne vient confirmer cette tradition orale. Un décor composé de trois reliefs rapportés a été ajouté sur la façade probablement dans la 1ere moitié du 20e siècle.