En 1304, après la bataille de Zierikzee contre la Flandre, le roi Philippe le Bel remet la terre de Cagnes à Rainier Ier Grimaldi. La seigneurie, jusque-là propriété des Comtes de Provence, passe ainsi à la famille Grimaldi. Rainier Ier y fait édifier un fortin sur l’éperon rocheux, déjà entouré de murailles depuis la fin du XIIᵉ siècle. Ce fort a souffert de l'invasion de Cagnes par les troupes de Charles Quint dans la première moitié du XVIe siècle.

Ce n’est qu’au XVIIᵉ siècle que le château adopte sa configuration actuelle. Jean-Henri de Grimaldi, maréchal de camp des troupes de Louis XIII, souhaite transformer le fortin en palais et lance un ambitieux programme d’embellissement dès les années 1640. Il crée une nouvelle entrée à l’ouest, avec un escalier monumental à double volée dont les rampes sont ornées de sphères. À la même époque, il fait percer de larges baies dans le salon pour offrir une vue sur la mer et aménage un péristyle dans la cour, inspiré par la cour intérieure du palais princier de Monaco. Cette ressemblance s’explique par les liens étroits entre Jean-Henri et son cousin Honoré II de Monaco. Jean-Henri joue d’ailleurs un rôle diplomatique majeur en négociant le rapprochement entre Monaco et la France, qui aboutit au traité de Péronne en 1641. Une lettre conservée dans les archives monégasques mentionne Giulio Benso, peintre auteur des fresques de la salle d’apparat. Jean-Henri commande également l’oratoire décoré de gypseries, dont le style génois suggère que les artisans ayant travaillé sur la cheminée de la salle des audiences sont les mêmes. Selon Denis-Jean Clergue, l’oratoire est placé en 1699 sous le vocable de Sainte Anne, puis en 1715 sous celui de Sainte Rose.

Le XVIIᵉ siècle marque ainsi l’âge d’or du château, qui subira ensuite de nombreuses dégradations. En 1708, il est pillé par les troupes austro-sardes lors du sac de Cagnes, puis par les Anglais en 1746. À la Révolution, Sauveur Gaspard de Grimaldi émigre à Nice et le château est vendu comme bien national en 1793 à Charles Gerbaud. Il sert alors de ferme : on y trouve un four à pain, une meule à olives et des logements pour des ânes. En 1815, il est occupé par les troupes piémontaises après la chute de l’Empire. En 1862, la commune envisage de l’acheter pour y installer la mairie et une école, mais le projet n’aboutit pas.

En 1875, le docteur Chrétien Gerecke, d’origine allemande et résidant à Moscou, acquiert le château pour 8 000 francs. Il ouvre une nouvelle entrée côté place du château et entreprend les premières restaurations des fresques, confiées au peintre-décorateur Henri Dupeyre. Il aménage la cour en jardin, plante un faux poivrier et crée une grande baie au sud pour apporter de la lumière. La salle d’apparat s’ouvre alors sur un jardin suspendu. En 1883, il restaure la cheminée et y ajoute deux cariatides représentant l’hiver et l’été, ainsi qu’un médaillon en haut-relief avec son portrait et celui de son épouse. C'est à cette période que sont construits les pilastres cannelés de la salle. En 1906, il fait construire le belvédère crénelé.

En 1937, la commune achète le château aux enchères pour 235 000 francs. Il ouvre au public l’année suivante. En 1946, le musée de l’Olivier y est créé, suivi en 1953 par le Musée d’Art Moderne. Le musée Renoir, installé un temps au château, sera transféré aux Colettes en 1960.