Sur les deux extrémités nord, se trouvent deux tours. Une partie du monument est entourée de douves sèches. Le donjon carré est édifié au XIV ème siècle. L’ensemble en forme de L à gauche du donjon, ainsi que la tour en poivrière date du XV ème siècle. Mais la partie la plus ancienne du château, c’est la tour ronde située au nord, qui date du XIII et XIV ème siècle. Des modifications du logis sont menés aux XVI et XVII ème siècle, avec l’ouverture de grandes fenêtres et la création d’une lucarne au dessus de la porte d’entrée. Fontenay va connaître beaucoup de propriétaires successifs.