Le Parc Buffon est installé sur un ancien château dont l’origine remonte au Xe siècle. Ce qui subsiste du château fort du XIVe siècle a été transformé au XVIIIe siècle par Georges-Louis Leclerc, comte de Buffon, en un parc de 7 hectares, le « Parc Buffon ».
Les premières mentions du château remontent au Xe siècle. Au XIIIe siècle, les ducs de Bourgogne transforment le château en forteresse. Ils l’entourent d’un rempart et érigent des tours défensives, dont ne subsistent aujourd’hui que celles de l’Aubespin et de Saint-Louis. Au XVIIIe siècle l’édifice est décrit comme partiellement ruiné et à l’abandon.
Entre 1733 et 1742, le naturaliste et futur comte Georges-Louis Leclerc de Buffon annexe le château par engagement. Buffon opère de nombreuses modifications. Il remplit l'intérieur de la basse-cour avec un mélange de terre et des pierres du château pour créer un unique niveau. Le parc est aménagé autour d’un ensemble de terrasses organisées en jardin à la française et à l'anglaise.
Buffon s'établit en partie à l'Hôtel de Buffon, au Petit Fontenet voisin et dans la tour Saint-Louis pour installer sa bibliothèque. Buffon fait également construire un cabinet de travail sur le rempart ouest. Il y passe une grande partie de sa journée à rédiger de 1749 à 1788 son Histoire Naturelle générale et particulière.
En 1885, la ville de Montbard rachète le château et le parc qu’elle transforme en jardin public après d’importants travaux de restauration des murs maçonnés.
La tour du château (dite Tour de l'Aubespin) fait l'objet d'un classement au titre des monuments historiques par la liste de 1862, tandis que le château et son parc sont classés site naturel en 1934 et monuments historiques en 1947.