Le site de la Tour des Orris, où se situe la chapelle, pourrait correspondre par sa localisation au premier castrum de Rocha qui apparait dans les textes en 1180 où une église de Rupis est mentionnée en 1143. En ce sens, la chapelle Saint-André, qui apparait dans les textes dans la seconde moitié du 14e siècle, pourrait avoir remplacé l’église primitive à son emplacement. Le site, alors qualifié de « Vela la Vieilla », est déjà connu comme un ancien habitat. En ce sens, la chapelle aurait réemployé une partie des pierres de la première église, des moellons taillés en petit appareil visibles sur les élévations de blocs bruts. De la même manière, l’édifice aurait été partiellement voire en grande partie reconstruit au 16e siècle. De son côté, la tradition, que rapporte Malausse, veut que la chapelle ait été construite - plus probablement reconstruite - sous l’impulsion d’un marin qui aurait fait édifier le lieu de culte en remerciement d’un vœu fait pendant un naufrage. Prénommé André, il aurait ainsi laissé son nom à l’édifice. Dans le dernier quart du 18e siècle, la chapelle figure bien sur la carte de Cassini. A la Révolution, l’édifice fait encore partie des lieux de culte estimés comme biens nationaux en 1798. Il y est alors défini comme chapelle rurale, située au « quartier des Baumes », composée d’un « batiment et regale par devant ». Par la suite probablement laissée à l’abandon du fait de sa situation en écart et en hauteur, la chapelle ne figure déjà plus parmi les chapelles rurales dans une notice rédigée en 1838 faisant état des lieux de culte de la paroisse. En 1867, Millou constate bien la ruine de l’édifice, qui « ne réclame guère que sa toiture et ses fermetures », faute de réparations d’entretien. Aujourd’hui, la chapelle est toujours présente sur le site.