Entre la rue Elie Fréron et la rue des douves, protégé par les remparts Est de la ville, le jardin de la Retraite s’étend sur près d’un demi hectare.
La configuration du terrain a determiné une série de jardins qui permettent une sucession de points de vue ainsi que trois espaces très diversifiés qui communiquent entre eux par des marches ou des portes. La parcelle basse organisée autour d’un bassin abrite une belle collection de palmiers.
Le jardin attenant est dévolu aux plantes de terrains secs. Enfin, les plantes à feuilles larges d’aspect tropical accompagnent le visiteur jusqu’à la rue Elie Fréron. Par ailleurs, une petite aire de jeux accueille les enfants de moins de 8 ans.