Au XV ème siècle, la famille des Gontaut forme la maison de Hautefort. Le XVI et XVII ème siècle sont les ages d’or du château. François de Hautefort, le premier marquis débute la transformation du monument. Il veut en faire un édifice digne de son temps composé d’un corps de logis et deux ailes en retour d’équerre avec deux tours. Son petit fils, Jacques François de Hautefort est conseiller du roi, écuyer d’Anne d’Autriche et de Marie Thérèse d’Autriche. Il développe une fonderie et fourni l’armé de Louis XIV. Avec sa fortune, il embelli le château. Sa sœur Marie de Hautefort est présente à la cour et sera une favorite de Louis XIII.