Il castello di origine medievale venne acquistato nel 1309 da Averardo di Averardo de Medici e rappresenta il più antico insediamento della famiglia nel Mugello poi trasformato in residenza nobiliare verosimilmente da Michelozzo a partire dal 1428 per volere di Cosimo de Medici il vecchio. L'architetto ingloba ampliandola la vecchia torre di guardia in una struttura a pianta rettangolare protetta da mura e fossato, e in modo del tutto inconsueto realizza un giardino all'interno delle mura di cinta che si sviluppa su due livelli. Questa ristrutturazione è raffigurata nella lunetta di Giusto Utens (1599-1602) che mostra due pergolati (di cui uno oggi perduto ) separati da un giardino formale con vasca in parte adibito a orto. Passata a Cosimo I la proprietà venne ampliata e nel 1644 venne venduta da Ferdinando II a Giuliano Serragli, ricco patrizio fiorentino. Passato ai padri Filippini dell'oratorio di San Firenze, il castello alla fine del '700 pervenne a Marcantonio Del Ross, alla Chiesa fiorentina e, dopo il 1865, venne acquistato dalla famiglia Colibò e successivamente dal principe Marcantonio Borghese. Venne poi venduto nel 1936 al banchiere romano Enrico Scaretti che coadiuvato dalla moglie Marjorie Jebb promosse importanti interventi di restauro sia nel castello sia nel giardino. Nel cortile riemerse il loggiato, nello spiazzo erboso antistante venne piantato un giardino formale con aiuole di bosso e rose, presero forma inoltre un rock garden adiacente al muro perimetrale, un frutteto e sul retro, cinto da cipressi, venne ricavato uno spiazzo erboso adibito ad attività ludiche.