Aux environs de 1100, des guerres féodales éclatent entre seigneur de Lavardin et seigneur de Vendôme. Entre 1130 et 1134, Gaymard, vend la seigneurie au comte de Vendôme. Bouchard IV dit » de Lavardin » va recevoir le château en apanage, il va y résider avant de devenir, lui même comte de Vendôme en 1180. Lavardin déjouera en 1088, un siège tenu par Richard Cœur de Lion. Des travaux sont menés entre la moitié du XII et 1200, pour la construction et le renforcement du donjon et de son enceinte. Suite à la guerre de Cent ans, en 1380, des travaux de restauration vont avoir lieu au niveau du château et du donjon.