Situé sur la rive gauche de l’Armançon, un peu en aval du Pont Joly, par lequel se fait l’entrée de la ville au pied des remparts nord, le parc occupe une position avantageuse de par sa proximité avec le centre bourg. Seul parc de la ville (à confirmer), il mérite ainsi une attention particulière. Il s’inscrit dans un riche réseau de chemins, venelles qui le relient au centre ville. Deux entrées l’une par le sentier des Enlerys, l’autre par un petit passage en contrebas de l’Avenue de Paris permettent de franchir le haut mur d’enceinte. Si le jardin est clos (hortus conclusus), sa superficie de 2,4 hectares et sa configuration offrent des ouvertures sur le paysage de ce fond de vallée encaissé de l’Armançon.
Le parc est sur l’itinéraire buissonnier « De chaume en chaume ». Sur le fil des crêtes, le sentier permet de découvrir différents points de vue, de prendre du recul sur l’inscription de la ville de Semur dans son paysage.
Malgré cette situation avantageuse dans la ville, le Parc Joly est méconnu des Semurois. Potentiellement visible depuis la rive droite de l’Armançon, il se dissimule, abandonné depuis plus de trente ans, sous une épaisse couche de végétation. Difficile d’imaginer derrière cette clôture et caché sous des plantes pionnières, le tracé d’un parc paysager. Et pourtant ce terrain privé conserve encore tous les détails et attributs des jardins à l’anglaise aménagés au XIXe siècle : bois, verger, promontoire, théâtre de verdure, sources, grotte, terrasses et murs en pierres sèches, pigeonnier, vallée sauvage, pièces d’eau, etc. Un plan de 1872 rappelle cette époque d’expansion de l’art des jardins et de leur symbolique.

Autre élément décoratif : verger, terrasses et promontoire, pigeonnier, roches