L'édification de la première chapelle Notre-Dame-du-Pont est certainement contemporaine, ou quasi-contemporaine de la construction du premier pont de pierre sur le Lez à Bollène, en 1312 par la communauté de Bollène. Elle aurait été en partie détruite, en même temps que le pont en 1413 par une importante crue du Lez. Une bulle du cardinal de Foix, légat d'Avignon, en date du 10 janvier 1436, accorde quarante jours d'indulgence à ceux qui feront une aumône ou travaillent pour les reconstructions du pont et de la chapelle. Le 11 février 1478, Antoine Chambaud, co-syndic de Bollène, invite le prévôt de la cathédrale de Saint-Paul, en l'absence de l'évêque, à poser la première de la chapelle. Les travaux sont achevés en 1480. Une description en est faite dans un acte de 1483 : longue de 10 mètres environ, de la même largeur qu'aujourd'hui (soit environ 6 mètres), elle ne possède alors que deux travées (celle de la nef et celle du chœur). Aujourd'hui encore, on peut observer, dans l'épaisseur du mur du chœur, trois crédences dont une avec un lavabo. On peut voir, sur la façade sud, la porte murée qui donnait alors accès à la chapelle ; son encadrement en pierre moulurée en anse de panier témoigne de la période de construction. Symétriquement, à l'intérieur de l'édifice cette fois, l'encadrement d'une autre porte murée est visible sur le mur nord : la chapelle aurait donc eu deux entrées : une au nord, l'autre au sud, selon la tradition, celle des voyageurs et celle des bollénois. D'après le document de 1483, la chapelle n'est alors fermée à l'ouest que par une grande grille laissant voir en permanence l'intérieur de la chapelle ; un auvent est d'ailleurs construit en 1621. La chapelle possède une statue de la Vierge réputée miraculeuse. L'afflux des pèlerins augmente, en particulier lors des grandes fêtes de la Sainte-Vierge. Nombres de dons et ex-voto sont alors donnés au sanctuaire.

En 1562, la ville est prise par les protestants, les chapelles rurales sont pillées. Transformée en poste de garde, la chapelle Notre-Dame-de-Bonaventure évite sans doute ainsi une destruction totale. En 1563, elle est à nouveau dans les mains des catholiques qui la rénovent. Elle est reprise une deuxième fois par les protestants en 1568, mais les protestants sont rapidement chassés par Gaspard de Roquard, gouverneur et seigneur de Caumont, a la tête de la garnison.

En 1576 une grande inondation cause de nouveaux dommages. En 1590 l'évêque de Saint-Paul presse de terminer les réparations de la chapelle encore en ruine. La chapelle est souvent soumise à ces crues, voire inondations plus ou moins dévastatrices au cours des siècles : Jaques Pradal en dénombre dix-sept entre 1400 et 1745.

La grande peste de 1586 retarde la reconstruction de l'édifice. La maladie faisant des ravages, la communauté s'adresse à Notre-Dame-du-Pont et fait vœu d'une neuvaine du mois d'août, commencée par une grand messe et suivie d'une procession solennelle. La peste aura faibli peu après la formulation de ce vœu, ce qui accroit encore la vénération pour la Vierge de la chapelle. Des vœux semblables furent renouvelés lors de chaque grande calamité (1628, 1653, 1721, 1791, 1821). Ainsi si la chapelle a sans doute dans un premier temps été construite pour la protection du pont et des voyageurs, elle est aussi, à partir de 1586, un lieu de protection contre la peste.

Au début du 17e siècle, la chapelle doit être consolidée : un premier contrefort, qui porterait la date de 1601, est construit au sud, il est construit en biais par rapport à la façade afin de parer le courant en cas d'inondation. Après une nouvelle terrible inondation en 1622, d'autres sont construits au cours du siècle, non perpendiculairement à la façade mais de façon à casser le courant avant son arrivée sur les murs.

En 1654, grâce à un don, on fait fondre une plus grande cloche et on monte un petit clocher pour la suspendre.

Notamment grâce à plusieurs legs, la chapelle étant depuis longtemps trop petite, son agrandissement est décidé selon le prix-fait du 31 mars 1729 donné aux sieurs Jacques, architecte et Charmasson, maitre-maçon, de Mazan, pour la somme de 900 livres. La nef est prolongée vers l'ouest de deux travées, la voûte est construite selon le même type de voûtement sur croisée d'ogive. L'arc doubleau entre la deuxième et la troisième travée de la nef est ainsi visiblement plus épais. L'entrée se fait par la nouvelle façade au couchant, précédé d'un large perron. Dans la niche, au-dessus de la porte d'entrée, on place la statue de la Vierge de Mesangeau, qui était, depuis 1721, sur le pont. Comme la façade oblitère désormais toute vue vers l'intérieur de la chapelle et vers la statue miraculeuse, deux ouvertures sont ménagées de part et d'autre et pourvues de grille afin de laisser les volets intérieurs ouverts. (Le sol est relevé, le sanctuaire surélevé de deux marches(?).

De nouvelles inondations dévastent la chapelle en 1745, abattent la sacristie (construite en 1597), emportent l'autel, la statue en marbre de la Vierge (retrouvée sur le gravier un peu plus loin), le retable en bois doré, les ex-voto et même les portes. La chapelle est une nouvelle fois restaurée, la sacristie est reconstruite, elle porte la date de 1745 (sur l'un de ses murs au nord-est). On place dans la chapelle l'autel en marbre polychrome, ainsi que les tableaux du chœur (?). Quand tout fut restauré, la chapelle est une nouvelle fois bénite par les chanoines de la collégiale Saint-Martin, on y replace la statue retrouvée de la Vierge.

En 1755, un acte de fondation de messes dans la chapelle en donne toutes les appellations alors en usage : chapelle Notre-Dame-d'Aventure, Notre-Dame-du-Bout-du-Pont ou encore Notre-Dame-du-Pont.

Saisie comme bien communal après l'annexion du Comtat, elle ne subit aucun dommage à la Révolution et est même rouverte après 1794 le culte y est rétabli. Elle est vendue, comme bien communal, en 1812. Elle est achetée par Alexandre-Armand de Granet, baron de Chabrières, maire et par Jean-Joseph Bonot juge de Paix de Bollène, tous deux agissant à titre privé pour être laissée au culte des Bollenois. A l'extinction de la famille Granet de Chabrières, leurs droits passent à la famille de Rocher. Mle Marie de Rocher, rachète les droits sur la moitié de cette partie à ses neveux et en conséquence vend la moitié de la chapelle à Henri de Ripert d'Alauzier, par acte reçu par Me Guichard le 1er mars 1912. Ce dernier rachète les droits de la famille Bonot (à Louis Bonot), par acte du 14 décembre 1936 reçu par Me Sabatier notaire. La chapelle est toujours aujourd'hui propriété de la famille de Ripert d'Alauzier, installée à Bollène depuis la fin du 15e siècle.

Dans le courant du 19e siècle, certains travaux sont réalisés. En 1823, un marché est passé entre la municipalité et Joseph Brémond, maçon à Bollène pour construire l'escalier qui descend de la route de Pont-Saint-Esprit vers le côté sud de la chapelle (on le voit ainsi sur le cadastre napoléonien de 1825). En 1840, l'élargissement du pont nécessite celui de la route contre la chapelle : on élargit alors l'escalier en le doublant dans sa largeur. En 1854, la croix sommitale de la façade occidentale, en fer forgé, est placée : c'est un ex-voto d'Olympe de Payen de l'Hostel de la Garde à la veille du départ pour la guerre de Crimée de son fils cadet. La croix est endommagée par la chute d'une branche de platane au cours d'un élagage en 1936 ou 1937. Elle est restaurée et remontée.

En 1895, le clocher est remplacé, en lien, selon Jacques Pradal avec la clôture du jubilé annoncé en 1847 par Pie IX. Auparavant, "en forme de portique" selon Gérard Bignan (sans doute un simple clocher à deux baies), il est surélevé et prend la forme d'une tour carrée. On place à son sommet une statue de la Vierge, dite de la médaille miraculeuse, type iconographique né de l'apparition de la  Vierge, rue du Bac à Paris, le 18 juillet 1830. La cloche ayant été envoyée à la fonte à la Révolution, on place dans le nouveau clocher, un cloche provenant du couvent du Saint-Sacrement qui porterait la devise de l'ordre : "Loué soit le très Saint Sacrement" et serait l'œuvre de François Antoine Babandy au milieu du 18e siècle. La même année, la chapelle est restaurée : les enduits extérieurs sont refaits, les ouvertures sont reprises et reçoivent des vitraux. On peut se demander si, à cette époque-là, la façade n'a pas également été reprise : si la travée centrale est bien du 18e siècle, il est possible que la façade-écran, telle que visible aujourd'hui, débordant les rampants du toit, surmonté d'un fronton triangulaire ait été modifiée.

En 1933, une crue du Lez inonde à nouveau la chapelle, sans dégât majeur cependant. En 1944, les verrières du mur sud sont détruits par une explosion qui visait le pont. En 1948, la façade occidentale est restaurée. Enfin en 1965, la municipalité et le Père Mallet effectuent une nouvelle restauration, assez intrusive. Les murs sont entièrement décroutés, les stalles (qui avaient été refaites, en noyer, en 1746 suite à l'inondation de 1745) qui les garnissaient dans le chœur sont supprimées, tout comme les ex-voto, un éclairage est mis en place ainsi qu'un autel face au peuple (plus en place aujourd'hui). L'esplanade est également réaménagée : le mur sud séparant le grand escalier du Lez est surélevé ; au nord, le fossé qui longeait la chapelle pour se jeter dans le Lez est couvert et une vanne empêche désormais la remontée des eaux ; le parvis est surélevé (enterrant un degré de l'escalier d'accès à la chapelle).