Armonioso ed imponente edificio che domina Terra del Sole dalla sua posizione centrale. A pianta quadrangolare, di 40 metri per lato, il Palazzo è un classico esempio di architettura rinascimentale, costruito in pietra locale con elementi in pietra serena e cotto. La facciata e le logge sono decorate con numerosi stemmi, scolpiti o dipinti, dei Capitani e Commissari inviati dai fiorentini.