A l’origine simple jardin du couvent des Récollets, où les planches de légumes devaient voisiner avec quelques arbres fruitiers et peut-être une vigne, il a été agrandi plusieurs fois, soit par les dons de fidèles désireux d’assurer leur salut, soit par le rachat par les religieux de lopins de terre qui bordaient leur propriété. A la veille de la Révolution, le jardin occupait presque tout l’espace contenu à l’intérieur du bastion. Après la révolution, la municipalité, expulsée à plusieurs reprises de ses locaux par l’autorité militaire, avait d’autres soucis que de se préoccuper du jardin, dont une partie fut transformée par le Service de l’Artillerie en parc à boulets, au moins jusqu’en 1828.
Il faut attendre les années 1843-1844 pour voir apparaitre dans les comptes de la ville des crédits destinés à « l’établissement d’une promenade dans le jardin de l’hôtel de ville ». On est donc fondé à considérer 1843 comme la véritable date de naissance du jardin en tant que promenade publique. On ne dispose hélas d’aucune description, même succincte, de cette promenade.
Les années 1878-1879 marquent une nouvelle étape dans l’aménagement du jardin. En avril 1878, Gabriel Arbeaumont, horticulteur pépiniériste à Vitry, se rend adjudicataire des travaux de remise en état du jardin « en conservant à celui-ci son ancien dessin » pour une somme de 600 francs. L’année suivante, c’est un crédit de près de 1000 francs qui est consacré à l’entretien du jardin de l’Hôtel de Ville et à l’acquisition de trois bancs ». Mais c’est l’année 1897 qui marque la naissance du jardin moderne, dont l’ordonnance est, à quelques détails près, celle que nous retrouvons dans le jardin actuel.
En 1895-1896, le démantèlement des fortifications a profondément modifié le paysage autour de l’Hôtel de Ville, et la municipalité décide d’utiliser les espaces libérés par l’arasement des remparts pour agrandir le jardin. C’est le projet d’un architecte paysagiste (Berthier) qui est retenu. Il se signale par une grande originalité. L’architecte ne se borne pas à utiliser les terrains nouvellement disponibles, mais remodèle tout l’espace en intégrant dans le nouveau jardin la Place Carnot et le monument sur laquelle il est érigé. Il combine harmonieusement les lignes droites du jardin « à la française » avec les formes courbes du jardin « à l’anglaise ». La masse disgracieuse du château d’eau (construit en 1892-1895) est masquée par une cascade artificielle. Le lieu est résolument conçu comme un espace de détente et d’agrément avec ses allées qui serpentent entre les bosquets, ses « salles de repos » équipées de nombreux bancs, son kiosque à musique où le cercle des XVII donnera plus tard des concerts prisés du public vitryat.
Le jardin ne connaîtra son étendue et sa forme actuelle qu’après la démolition de deux immeubles enclavés dans son périmètre : l’un en 1930 sur décision de la municipalité, l’autre (la bourse au travail) lors du bombardement de juin 1944, qui détruit par la même occasion toute l’aile sud de l’Hôtel de Ville. Sa superficie est alors passée de 79 ares (époque des Récollets) à 2 ha 60 ares. Le dernier réaménagement majeur est réalisé en même temps que se poursuit la reconstruction de l’Hôtel de Ville ; création de deux bassins d’agrément, démolition du château d’eau, dont on ne conserve que la cascade, installation d’un théâtre de verdure dont le mur de scène est constitué par la façade de la chapelle de l’ancien collège des garçons : le kiosque à musique disparait car il n’a pas été jugé digne d’être conservé. Le nouveau jardin sera inauguré en même temps que l’Hôtel de Ville par le Préfet de la Marne, le 9 septembre 1962.