Au XVI et XVII ème siècle pendant les périodes de troubles, les souverains se réfugient au château de Vincennes. Des nouveaux bâtiments sont construits sous Louis XIV, le pavillon du roi et de la reine, pour former un ensemble de bâtiments classiques. Il quitte le château lors de son installation définitive à Versailles. C’est la fin de la résidence royale de Vincennes. Du XVI ème au XIX ème siècle l’édifice servira de prison. Des personnes sont emprisonnées ici avec des lettres de cachet pour raisons privés ou politiques. Elle accueillera des personnes célèbres comme Fouquet, le marquis de Sade, Diderot ou Mirabeau.