La costruzione del palazzo fu iniziata per volontà di Ildebrando Pannocchieschi, conte palatino dell’Impero e l’incarico fu affidato al maestro Riccardo da Como nel 1208; la costruzione progredì un po’ a rilento, anche se il piano terreno e parte del primo piano risultano utilizzati intorno al 1234; tuttavia, la fabbrica dovette essere conclusa nel 1257, come ricorda un’epigrafe in esametri leonini murata nel palazzo.