Philippe Auguste récupère le château de Saumur en 1203. Il le transforme en ajoutant quatre tours rondes reliées par des courtines, en gardant le donjon au centre. Quelques années plus tard, Saint Louis va construire la forteresse qui existe encore. En 1360, Jean II le Bon va ériger le comté d’Anjou en duché pour son fils Louis 1er d’Anjou. Le donjon sera rasé en 1380. Louis 1er va transformer le château en un palais luxueux s’inspirant des travaux réalisés par son frère le roi Charles V au Louvre et à l’hôtel Saint Pol à Paris. Les courtines sont transformées en logis, l’aile nord va abriter ses appartements, les tours sont rehaussées. Ses successeurs Louis II et Louis III d’Anjou, René d’Anjou continueront les travaux.