En 1258, l'évêque de Gap consacre « ung cimetiere au lieu de Pomet lieudict au Castellac a la requisition des habitantz dudict Pomet avec le consentement du prieur d’Anthonaves » (archives de l'abbaye de Montmajour).
Sur le cadastre de 1824, ce cimetière du Castellac est encore présent comme « cimetière » (parcelle B 121, superficie de 890 m2) et la parcelle est appelée « Le Cimetière Ancien » (parcelle B 121). On y remarque encore aujourd'hui quelques rares ossements épars et des tessons de céramique grise. Ce site funéraire est probablement en continuité avec un site castral de l'antiquité tardive.
Au milieu du 16e siècle, un cimetière se trouve devant l'église de Pomet. Effectivement, lors d'une visite pastorale de l'évêque de Gap effectuée en 1551, il est indiqué que « les perrochiens [paroissiens] enterreront au cimetière appellé La Lèche, condampnant [condamnant] celluy qui est au-devant l'église, pour ce qu'est en la rue et chemin public ». Ce cimetière de « La Lèche » pourrait correspondre à celui du Castellac. Effectivement, l'état des section du cadastre de 1824 nomme un quartier « La Lèche » (section B, parcelles 145 à 154bis) situé en rive gauche de la Méouge, au-dessus du pont.
Néanmoins, les deux cimetières, celui de l'église et celui du Castellac, paraissent avoir encore été utilisés en même temps. En effet, à l'occasion d'une autre visite pastorale en 1602, le cimetière de l'église semble toujours actif, puisqu'il est décidé qu'il sera clos et fermé tout alentour d'un mur de barrières pour que le bétail n'y entre pas, et une croix sera plantée au milieu. Et en 1740, lors d'une autre visite pastorale, il est précisé que le cimetière alors en usage présente « la difficulté et le danger qu'il y a d'y ensevelir surtout pendant l'hyver », description qui paraît bien convenir au site du Castellac.
Cette visite de 1740 marque la création du cimetière actuel, puisque l'évêque ordonne « qu'il sera choisi un endroit plus commode, lequel sera duemment fermé d'une muraille ou d'une haye vive et garni d'une croix, et cela dans l'espace d'un mois », et l'ancien cimetière sera alors interdit à l'inhumation. Ce cimetière figure sur le plan cadastral de 1824, ayant une superficie 610 m2 et appartenant à « La Commune ».
D'important travaux de réparation sont effectués au début des années 1900. La tradition orale rappelle que les inhumations dans ce cimetière, qui est installé sur le rocher, nécessitaient d'apporter de la terre.
