Lavaur est promue au rang de siège épiscopal en 1317. La ville occupe la pointe nord-ouest d’un vaste évêché qui comprend le sud de l’actuel département, entre l’Agoût et la Montagne Noire. Après s’être installé sur l’actuelle place du Palais, les évêques construisent leur demeure contre le flanc nord-est de la cathédrale. Ce Palais fortifié organisé autour d’une cour centrale, est contraint à l’ouest par le cloître de la cathédrale (qui disparaît après la Révolution).
Dans la seconde moitié du XVIIe siècle, les évêques comblent les fossés et établissent là de vastes jardins : parterres à la française, potager, vivier...
Le Palais et ses annexes sont vendus à la Révolution, puis détruits dans le courant du XIXe siècle. Cet espace devient propriété communale en 1852 ; il est transformé en jardin à l’anglaise dès 1857. Nommé « Jardin Las Cases » en souvenir du célèbre mémorialiste de l’Empereur à Sainte Hélène (installation d’un statue en 1865), il est ensuite rebaptisé « Jardin de l’Evêché ».
Belvédère sur l’Agoût, le jardin permet d’admirer le remarquable pont Saint Roch, monumental ouvrage de pierre construit entre 1773 et 1791, déployant une arche de 49 m d’ouverture (longtemps la plus grande arche en France construite d’un seul tenant).