Situado na zona alta da vila de Serpa, adjacente ao Castelo, destacado, sobre a planície envolvente e a vila, precedido a sudeste por um amplo largo empedrado.

O jardim é murado e a ligação à casa faz-se através de uma porta na galeria do primeiro andar do palacete, embora existam outras portas de acesso ao andar térreo. O jardim da Casa do Castelo tem dentro um miradouro e é rematado a poente pelo aqueduto de Serpa, com cerca de 12 metros de altura, que termina dentro do jardim, na parede maciça de uma cisterna que lhe recolhe as águas. A esta cisterna “ao alto” encosta-se uma escadaria íngreme pela qual se acede a um miradouro que lhe fica por cima; neste terraço, com função de belvedere, há bancos talhados no muro, intercalados por alegretes que aguardam plantas e cor e, ao centro, um tanque com 16 lados para o qual despeja um canal alimentado com a água do aqueduto. (Castel-Branco, 2014) Existe uma escultura de repuxo, saindo do chão em múltiplos arcos de água. Para este, a nível inferior, o espaço livre de jardim mede 0.5ha, sendo quase plano e rematado a sul por um muro largo donde a vista domina os telhados da vila. No jardim distinguem-se duas áreas: um pequeno pinhal de linhas naturalizadas em que, no caminho que o remata, foi plantada uma coleção de catos, e o jardim de laranjeiras. O laranjal é plantado em fileiras paralelas e rematado a buxo, ponteado nos ângulos por ciprestes, uma palmeira-das-canárias e uma figueira. A parede das escadas que levam ao terraço da cisterna foi coberta por hera e figueira-trepadeira e junto a ela foi plantado um pequeno roseiral. Nas floreiras ou alegretes do terraço existem chorinas, gazânia e sardinheiras. (http://www.monumentos.pt/Site/APP_PagesUser/SIPA.aspx?id=14467)