Quando cerca de 1743 o palácio foi construído por António José Alvares Botelho Mourão , toda a sua monumentalidade e riqueza arquitetónica se via da estrada de Vila Real que passava rente à fachada poente e não havia lago que nos oferecesse o seu reflexo na água, nem cedros, nem o portão abria para a estrada. Havia sim um eixo onde todo o palácio se equilibrava e, passando-lhe por dentro, se prolongava pelo jardim a nascente através de um belíssimo caminho que seria ladeado de ciprestes e obeliscos, terminando numa latada. Havia o muro que limitava a Norte, e todo o jardim em redor da casa foi sendo feito por várias gerações de Condes de Mangualde, criando transições várias com os campos de cultivo e um diálogo cuidado com a grande obra barroco que o palácio constitui. A estes jardins se vieram juntar as árvores que, crescendo ao longo dos séculos, guardam a memória do tempo nos seus anéis e na sua casca, o tempo daqueles que as plantaram e viram crescer. Na origem, o eixo prolongava-se da casa para o jardim a nascente e talvez a poente, o que lhe confirma o estilo barroco que Bernini havia marcado em Roma e Le Nôtre aplicara aos jardins de Versailles. À escala de Vila Real este eixo coloca os jardins de Mateus na linha estilística dos jardins Barrocos e pode reforçar a hipótese de Smith da autoria de Nicolau Nasoni, que terá aplicado o eixo à remodelação do palácio de Mateus entre os anos de 1739 e 1743, altura em que trabalhou em Lamego. A tradição coloca o irmão do Morgado de Mateus como sendo responsável pela encomenda ou pela traça do jardim nascente, mas o eixo já daria estrutura ao traçado do palácio-jardim. Já no século XIX temos notícia do 3º Conde de Vila Real a tratar do seu jardim, plantando árvores em coleção, como se fazia em toda a Europa e como D. Fernando II havia feito no Parque da Pena introduzindo o romantismo em Portugal. Dessa campanha destacam-se os cedros da entrada, as tílias a sul da casa, o enorme cedro do terreiro sul, as palmeiras e as camélias. No século XX surgem dois personagens, mãe e filho, muito ativos no jardim. Ela, a Condessa de Mangualde, mandou refazer o traçado dos canteiros do jardim da ala nascente e o seu parterre, entregando o desenho ao Arq. Gomes Amorim. O filho, o 6º Conde de Vila Real, D. Francisco de Sousa Botelho e Albuquerque, planta logo abaixo o túnel, constrói o jardim de água, implanta o jardim da coroa e remata em beleza em 1963 com o lago da entrada da autoria do melhor Arquiteto Paisagista e projetista de então, Gonçalo Ribeiro Telles. Os jardins de Mateus são assim, pela sua história, uma acumulação harmoniosa de estilos da arte de jardins do barroco ao modernismo. Para garantir a continuidade da Casa de Mateus, D. Francisco cria em 1970 a Fundação da Casa de Mateus e o seu filho Fernando Albuquerque, atual proprietário, intensifica esta herança dando vida à Fundação com atividades culturais do mais alto nível e mantendo os jardins e as árvores em ótimo estado de conservação. A qualidade do conjunto final de jardins e palácio levou a que fosse classificado como Monumento Nacional. (Castel-Branco, 2014)