Le site du Marais sur lequel se trouvait jadis le château-fort des Hurault, dont ne subsiste aujourd’hui les douves et le donjon (c’est la tour que l’on voit en entrant), où Sully, le grand ministre d’Henri IV le reçut magnifiquement. A la fin du XVIIIe siècle, en 1778, le trésorier général de l’artillerie et du génie, Jean Le Maître, y fit construire le château actuel, le plus beau château d’Ile-de-France pour cette période, par l’architecte Barré.
Il faut remarquer le parti que Barré a su tirer du site lui-même, la proportion du château par rapport au miroir d’eau, le mystérieux péristyle À l'italienne, la perfection avec laquelle ont été traités bandeaux et frises dus aux plus grands sculpteurs du temps, l’élégante habileté avec laquelle le château XVIIIe est raccordé à l’ancien château par le petit pont à galerie vitrée ; de même Achille Duchêne – à qui l’on doit la restauration de la plupart des jardins attribués à André Lenôtre et qui en s’inspirant des plans de l’ancien jardin à la française à crée l’actuel en 1910 – a veillé à l’harmonie des proportions par rapport aux façades.
Tout cela fait du Marais un chef-d’oeuvre de l’intelligence aussi bien que de l’art français. La Duchesse de Talleyrand l’acquit en 1899 de la Duchesse de Noailles et y a commencé un grand travail de restauration poursuivi par sa fille, Violette de Talleyrand épouse de M. Gaston Palewski. Ce sont actuellement les enfants de celle-ci qui s’y consacrent. Beaucoup de visiteurs illustres se sont succédés au Marais : le fabuliste Florian, neveu de Voltaire ; Molé, futur premier ministre de Louis-Philippe qui devint le gendre de la maîtresse de maison ; Wellington quand il était ambassadeur à Paris ; il y a eu surtout Chateaubriand et Pauline de Beaumont, Sainte-Beuve et Mme d’Arbouville et plus récemment André Malraux et Louise de Vilmorin, ainsi que le Duc et la Duchesse de Kent.