La façade la plus ancienne date de 1436, époque de la construction du château d’Avrilly par Guillot Constans, trésorier général du Bourbonnais, en pleine guerre de Cent Ans. Elle témoigne de cette période médiévale par ses douves, son donjon, son pont-levis et ses échauguettes. En 1629, à la suite de difficultés financières chroniques pour ses propriétaires successifs et d’une mise en vente forcée, Avrilly est adjugé à François Garnier, Président-Trésorier de France à Moulins, et conseiller du roi Louis XIII. Très riche, il entreprend d’importants travaux et construit le porche, sur lequel se voient ses armoiries et son chiffre, ainsi que les deux pavillons. Saisi en 1688, Avrilly passe de mains en mains jusqu’à son acquisition en 1873, par le Comte de Tournon, père de la Comtesse Jean de Chabannes et aïeul des actuels propriétaires. Sous l’égide des plus grands architectes et paysagistes de l’époque, le château est doublé en profondeur, assorti d’une façade néo-renaissance, d’un belvédère et agrémenté d’un jardin à la française conçu par Achille Duchêne. Deux pavillons viennent flanquer chacune des deux entrées du parc de 107 hectares, entièrement clôturé. D’immenses communs en U abritant de très belles écuries complètent l’ensemble. Le parc offre une alternance de bois, d’étangs et d’espaces aux perspectives soignées avec des variétés botaniques rares et une faune sauvage. Inscrit à l’inventaire des Monuments Historiques le 17 février 1982 pour ses façades et toitures et son pavillon d'entrée, puis le 25 janvier 1999 pour le Château, y compris ses décors intérieurs, les pavillons Louis XIII, l'orangerie, les grands communs, le parc avec son système hydraulique et ses pièces d'eau (étang, canal, douves, bassins), ses murs et grilles de clôture avec leurs portails et pavillons d'entrée, l’ensemble des parties bâties et non bâties du domaine du château d’Avrilly y compris son mur d’enceinte a finalement fait l’objet d’un arrêté de classement le 26 avril 2021. Avrilly, c’est une demeure issue des marécages (« avrillages ») qui se reflète dans un défilé de bassins ; c’est le XVᵉ, le XVIIᵉ et le XIXᵉ siècles réunis dans un château « aux deux visages » avec ses deux entrées et ses deux façades principales… et le XXIᵉ verra la restauration de l’ensemble dans un perpétuel recommencement.