Il castello, di origini normanne, viene trasformato nel XVI secolo dai marchesi Pignatelli in una dimora con giardini siti all'interno e ai piedi della rocca, nell'area dell'attuale piazza, qui, a testimonianza di questa fase, resta solo una fontana a ninfeo decorata a rocaille. Nel 1799 le truppe francesi incendiano il castello, che nel 1870 viene ricostruito in forme eclettiche dal principe Filippo Massimo Lancellotti. A quest'epoca risale il piccolo giardino all'italiana all'interno delle mura, prezioso esempio di ars topiaria.