"L'insediamento originario risale al XII° secolo e viene tradizionalmente attribuito a Matilde di Canossa, contessa di Toscana. A lungo fu un cupo Castello che dominava la vallata verso Siena e la piana dell'Arbia, nel corso del XVI° secolo la famiglia senese dei Celsi commissionò all'architetto Baldassare Peruzzi, originario dell'area e già autore del Palazzo dei Celsi a Siena, la trasformazione del castello in Villa "per liberare la casa imprigionata e farla impregnare di sole e di luce" come avrebbero scritto Shepherd e Jellicoe negli anni Venti del '900. L'intervento del Peruzzi a Celsa non dovette limitarsi alla sola costruzione cappella circolare: all'architetto va probabilmente assegnata la sistemazione delle quote del giardino, con la realizzazione del muro di terrazzamento aperto da nicchie, parallelo al viale d'accesso, e il taglio del terrazzamento antistante, piantato a giardino all'italiana. Alla fine del XVII° secolo Celsa appartenne ad un'altra famiglia senese, i De Vecchi. E' forse riconducibile alla loro committenza la fontana semicircolare decorata con motivi rocaille, inserita nel bosco recintato che si estende ad est del Castello. Sul finire dell'Ottocento Maria Antinori Aldobrandini, figlia di Giulia De Vecchi, affidò all'architetto Mariani un'ulteriore trasformazione del complesso: assecondando il gusto del tempo si decise di conferire alla villa l'aspetto di un turrito castello. Si procedette pertanto alla sopraelevazione della torre est, all'apertura di bifore, alla realizzazione di merlature e alla raschiatura degli intonaci, allo scopo di far emergere le antiche pietre. Dopo la seconda guerra mondiale il giardino e il parco recuperarono il loro aspetto formale grazie alle cure di Luisa Aldobrandini, che si preoccupò di delineare nuovamente i parterre in bosso -disposto a formare motivi araldici Aldobrandini- e provvide alla sistemazione di piante di limoni nei vasi settecenteschi. Anche il bosco con peschiera ad est del Castello venne collegato con una siepe di cipressi. Attualmente il Castello appartiene a Livia Pediconi Aldobrandini che vi ha intrapreso importanti lavori di restauro e consolidamento."