Cet immeuble fut construit de 1760 à 1765 pour les familles d'Isaac et David Aaron de Beaucaire par les maçons Charles Charmot, Charles Brun et Jacques Boudin sur l'emplacement de maisons acquises à des propriétaires chrétiens. Son plan en U, pensé par l'architecte l'islois Esprit-Joseph Brun, secondé par le maçon Antoine Teste, oriente l'ensemble des ouvertures de l'immeuble vers l'impasse, ainsi que le requérait la législation pontificale. Interdiction est stipulée, dans le prix-fait, de "travailler aux dits ouvrages les jours de samedi, ni autres fêtes des juifs". Le corps central du bâtiment peu remanié permet d'appréhender la distribution du 18e siècle. En 1771, David de Beaucaire acheta une petite partie parcelle 466 et une partie de la parcelle 470 (aile est de l'actuel immeuble) à deux propriétaires chrétiens pour compléter la propriété. Avant la Révolution, la cour intérieure de la parcelle 471 était une cour à fumier. L'ouverture de l'impasse sur l'actuelle rue de l'Hôtel-de-Ville prévue par le plan d'alignement de 1820 n'a pas abouti.

Actuellement, l'immeuble abrite des appartements et le Musée du Jouet et de la Poupée ancienne (rez-de-chaussée de l'aile est) depuis 2003.