Situa-se no sopé da Serra da Arrábida, numa encosta de inclinação suave. Está inserido num ambiente marcado por quintas de recreio. (CASTEL-BRANCO, 2014; CALÇADA, M; PEREIRA DE LIMA, 2002-04)

A Quinta das Torres, como peça arquitetónica, é o melhor exemplo da influência do renascimento Italiano em Portugal: o palácio segue com rigor uma composição geométrica, os elementos decorativos como as pirâmides e os pórticos respeitam as regras dos Tratados e não foram alterados e adaptados ao gosto português, e o eixo da casa prolonga-se para o exterior dando unidade ao conjunto como acontecia em Itália. A entrada para a Quinta fazia-se pelo portão sul e o eixo de acesso que hoje passa despercebido fazendo parte de terrenos agrícolas, tinha a força e harmonia das villas da Toscânia. A própria localização do palácio, no cimo de uma colina armada em terraços ajardinados a norte e a poente, é em si um sinal da influência italiana e da inovação a que correspondeu na altura o facto de os palácios passarem a abrir-se sobre a paisagem. A relação destes nobres com a Índia levará ainda a novidades em espaço exterior que tornam a Quinta das Torres um exemplar único na Europa, pois é no jardim que melhor se confirma a influência em Portugal das soluções arquitetónicas de exterior Mogol: o lago quadrado centrado ao eixo da fachada norte tem no seu centro um pavilhão isolado refletindo-se na água, tal como se vê em tantos palácios Mogol e que antes de 1590 – data de fecho da obra das Torres - não aparece em Itália. Foi o contacto da nobreza portuguesa com a Índia que permitiu estas novas referências para a Arte dos jardins em Portugal, independentes da estética europeia. O lago do pavilhão reflete a fachada norte do palácio e assenta sobre um terraço, tendo tido no passado outras áreas ajardinadas que rodeavam o lago e que desciam em terraços que hoje não se veem. Para o lado poente, um jardim de buxo e dois lagos formam o terraço superior estreito que abre para o terraço da piscina. Dois outros terraços confirmam a clara intenção de manter a construção elevada e tirar partido da paisagem. Do lado nascente, por onde hoje se entra e que liga à estrada de Azeitão a Palmela (aberta nos anos 50), havia e há olivais de cor cinzenta que anunciavam a lavoura e se ligavam às vinhas a sul. Um levantamento de todas as peças de hidráulica - fontes, lagos, tanques, caleiras e repuxos - permitiu perceber a grande qualidade do sistema de águas e o contributo que a abundância de água, vinda por minas e caleiras sobre-elevadas das nascentes da Serra, permitiu trazer à arquitetura. O pátio interior é amplo, centrado numa fonte renascentista rodeada de laranjeiras, e a entrada para a casa faz-se por um pórtico serliano de proporções perfeitas. (CASTEL-BRANCO, 2014)