Le port d'Agay est situé à l'est de la commune de Saint-Raphaël, au sud de l'embouchure de l'Agay. Il est protégé au sud-est par une digue en enrochements d'environ 55 m de long, doublée en face interne d'un quai en pierre. Son bassin est d'environ 1,2 hectare. Le port est aménagé de cinq appontements, de 30 m à 40 m de long. Les appontements en bois sont posés sur des plots en béton. Le quai en béton est couronné en pierre de taille. Le port peut accueillir environ 150 embarcations de plaisance ou de pêche.

Quatre cabanons bordent les quais du port dont l'un accueille la capitainerie, le second appartient à la prud'homie de pêche de Saint-Raphaël (référence IA83002032). Dans l'embouchure de l'Agay sont aménagés une cale de mise à l'eau et une zone d'amarrage des bateaux le long des berges. Le port d'Agay est également un point de départ de bateaux d’'excursion.