Le lazaret de Villefranche est construit à partir de 1669. Il était composé de deux bâtiments alignés avec chacun quatre galeries parallèles séparées par des arcades. L'ensemble est fermé par une enceinte munie de tours d'angle et percée de trois portes. L'édifice est remanié surtout au 19e siècle. Les 3 tours du Lazaret servaient de lieu de stockage des marchandises et de zone de mise en quarantaine des équipages. A la fin 18e siècle, début 19e siècle (entre 1776 et 1818) un chantier de construction de frégate y est aménagé avant d'être rapidement démantelé. A partir de 1876 les bâtiments sont transformés en caserne pour les chasseurs-alpins. L'édifice a aujourd'hui disparu et il ne reste que la tour ouest de l'enceinte, appelée Tour Paganini, et des vestiges du débarcadère. On note la présence d'un rocher à quelques mètres du rivage qui servait de bite d'amarrage aux navires. En 1882 les biologistes Jules Barrois et Hermann Fol installent dans cette tour le premier laboratoire de faune marine, qui sera transféré en 1885 dans le bâtiment des galériens.