La première implantation connue remonte au XIe siècle avec l’installation du Baron Percy, dont l’anoblissement serait lié à la bataille d’Hastings. Il semble qu'à Audrieu même, sa résidence était des plus modestes : c'était une « Motte Féodale » dont le site subsiste de l'autre côté de la route en vis à vis de l'avenue. Des fouilles archéologiques ont révélé le plan exact de la construction. Il s'agissait d'une demeure en bois et terre entourée d'un fossé profond et protégeant à l'intérieur une vaste « Bassecour » où s'alignaient quelques masures pour les Serfs. C’est au XVe siècle que les Percy remplacèrent la Motte Féodale, sans doute disparue pendant la guerre de Cent ans, par un vrai château dont il subsiste un commun et les deux ailes actuelles mises à la mode du moment lors de la construction au XVIIIe siècle du corps central. La branche Normande des Percy s'éteignit avec Marguerite, qui épousa en 1593 Guillaume de Séran, originaire du Vexin Français. Guillaume de Séran fut anobli par Louis XIII en 1615, par lettres patentes, conservées au Château. Les Séran étaient des hommes de guerre, plusieurs furent Maréchaux de Camp, dont, entre autres, le dernier du nom mort en 1863.
Audrieu, pendant la Révolution, fut saisi par la République et mis en vente (affiche du 9 Floréal An 3 conservée au château). Son propriétaire, Camille Léonor guerroyait dans les armées du Prince de Condé. À la Restauration, à la suite de procès, il récupéra son bien d'où avaient seulement disparu les armoiries du fronton. Ainsi, Camille Léonor fut le dernier des Séran, Baron d'Audrieu ; il laissa une fille Henriette par qui, en ligne directe, le domaine échut à la famille Livry-Level. Le château a beaucoup souffert en 1944 au moment du Débarquement. Pendant un mois et demi, il se trouva dans le « no man's land » et subit les assauts répétés des Anglais et Canadiens d'un côté, et d'une division Panzer de l'autre. Il reçut l'impact direct de 27 obus de 105mm. De nombreux obus anti-tank le traversèrent de part en part mais les superstructures résistèrent et il ne subsiste plus que quelques cicatrices de cette période. C'est parmi les arbres tricentenaires du parc qu'il y eut le plus de victimes. Nombre d'entre eux durent être abattus et ceux qui restent sont tous truffés d'éclats. Il est possible d’observer sur les troncs les plus gros des boursouflures, de larges entailles comblées par des lèvres en forme de bourrelets qui témoignent de la violence des combats.