D'après l'analyse de l'appareil et de la forme du plan, la tour pourrait dater du Moyen Age. Plus précisément, Jean Mesqui date les tours quadrangulaires du 12e siècle, la tour de Saint-André pourrait donc avoir été construite au 12e ou 13e siècle. Elle est figurée sur les cartes de la 2e moitié du 18e siècle mais déjà en très mauvais état : sur la carte de Cassini, elle est appelée "tour des Templiers" (même si ni Duby, ni Ferraud ne mentionnent la présence des Templiers en ce lieu) et est mentionnée comme déjà "ruinée" ; sur celle de Bourcet de la Saigne, elle est désignée sous le nom de "tour de Papon", du nom de la famille qui la possédait au 18e siècle (selon Alain Collomp).

La tour ruinée visible aujourd'hui était quasi accolée à une chapelle et à proximité d'une grosse ferme dite de La Tour avec un colombier indépendant : tous ces bâtiments sont mentionnés dans les états de section du cadastre de 1838, la chapelle est, à cette date, décrite comme "en ruine". Elle l'est déjà en 1708, puisque dans le procès-verbal de la visite pastorale, l'évêque la mentionne ainsi : "quant à la chapelle, l'ancienne dont il ne reste aujourd'hui qu'un peu de ruine près d'une Tour sur la pointe d'un rocher par un côté, a toujours été simple chapelle rurale puisque dans les registres de Mgr Clausse de l'an 1562, elle n'est nommée ny parmi les vicaires, ny parmi les cures de ce temps là, et qu'il n'y est fait mention d'aucun service". Il en subsiste une partie de l'élévation du choeur et de la voûte en cul-de-four ainsi que l'emprise au sol qui est encore bien visible.

La fonction de cette tour médiévale n'est pas avérée, elle semble cependant lié au fonctionnement seigneurial : marqueur territorial, affirmation du pouvoir nobiliaire et/ou surveillance. Selon Christian Fontaine, il s'agit de tour de guet, non conçues pour être habitées. Cette tout est en effet à resituer dans un réseau : d'autres tours existaient aux alentours et sont aujourd'hui le plus souvent ruinées : par exemple celle de Lambruisse (Référence IA04001125) ou encore celle d'Allons (Référence IA04001127). Dans la vallée du Verdon, entre St-André et Thorame-Haute, Raymond Collier fait l'hypothèse d'une système défensif fondé sur la répartition stratégique de ces tours et où la tour romane de Troins (Référence IA04002602) joue un rôle particulier.