Tem um enquadramento rural e situa-se sobre uma crista quartzítica sobre um monte escarpado. Circunda todo o aglomerado urbano da vila de Marvão.

Defender a fronteira com Espanha e a passagem pelo rio Sever era a função deste castelo, aproveitando a posição alta sobre um esporão de rocha quartzítica, muita acima das planícies. Por isso a vista do castelo domina sobre uma paisagem ondulada, com as encostas cobertas de floresta e os vales agrícolas divididos em parcelas produtivas. A área central do castelo permitia concentrar as tropas e receber os aldeões que subiam quando havia ataques. O poço e a cisterna de recolha de águas da chuva eram essenciais à sobrevivência nessas alturas. Na ponta oposta à da torre de menagem, a igreja de Santa Maria, também construída no século XIII, de paredes caiadas de branco, contrasta com as muralhas e rochas cinzentas do recinto.