Guillot Constans, trésorier général du Bourbonnais reçoit en 1436 du Duc de Bourbon Charles 1er l’autorisation « d’édifier un château, maison forte et basse-cour entourée de fossés ».
Par le mariage de sa fille Anne, Avrilly est transmise à Jean Cordier, conseiller et avocat fiscal du Duc de Bourbon Pierre II, époux d’Anne de France, fille de Louis XI.
La façade est date de cette époque, fortifiée à chaque angle par une échauguette, au milieu par un donjon coiffé d’un comble assez élevé et garni de machicoulis à linteaux, reposant sur trois assises en quart de rond. Chacun des linteaux est orné de l’arc en accolade, caractéristique du XVe. La tour nord, également du XVe, possède deux contreforts entre lesquels se logeait un pont-levis. Chaque contrefort est surmonté d’un clocheton et d’une niche destinée à recevoir une statue. Au-dessous, un écusson laisse deviner des vestiges d’armoiries. Le rez de chaussée de cette tour est voûté d’ogives : on accédait jadis aux étages supérieurs par un escalier à vis. La façade ouest, démolie au XIXe, était semblable à celle de l’est et comportait une cour intérieure.
En 1629, à la suite de difficultés financières chroniques pour ses propriétaires successifs (Popillon, Filhol) et d’une mise en vente forcée, Avrilly est adjugé à François Garnier, Président-Trésorier de France à Moulins, et conseiller du roi Louis XIII (son fils Jean fut maire de Moulins de 1676 à 1682). Très riche, il entreprend d’importants travaux à Avrilly où il obtient d’Anne d’Autriche le droit de faire tenir justice.
Il construit à cette époque le porche sur lequel se voient ses armoiries et son chiffre, ainsi que les deux pavillons. Les pilastres et les chaînes d’angle sont constitués de pierres à bossage. Le pavillon porche à deux niveaux possède une voûte en berceau.
Saisi en 1688, Avrilly n’est adjugé qu’en 1707 à Claude du Ligondès, capitaine des vaisseaux du roi, puis est vendu au vicomte de Bar avant de passer en 1784 à Antoine de Pontgibaud, en 1800 à Pierre Allier, puis en 1803 au comte Etienne des Roys, membre du Conseil d’État en même temps que Camille de Tournon, et maire de Moulins de 1805 à 1816. Son fils épouse la fille du général Hoche et reçoit en 1845 à Avrilly son ami Adolphe Thiers; il devient pair de France sous Louis-Philippe. En 1873, Avrilly est vendu au Comte de Tournon, le fils de Camille de Tournon, préfet de Rome sous Napoléon, et père de la Comtesse Jean de Chabannes. Depuis cette date, Avrilly est resté dans la famille et il appartient toujours aujourd’hui à la famille de Chabannes la Palice, actuels descendants.
Des travaux considérables sont entrepris au XIXe et au XXe : en 50 ans, le château est doublé en profondeur, la zone marécageuse sur laquelle il est situé est transformée en une succession de 7 bassins et étangs sur 4 niveaux différents, la route de Trévol est détournée pour permettre la réalisation de son parc de 100 ha, clos de 5km de murs et 3km de grille, un belvédère de 23m de haut, des pavillons aux 2 entrées et d’immenses communs sont construits successivement.