Il Palazzo nasce come residenza di una delle più importanti famiglie nobiliari di Brescia: gli Averoldi.
Costruito nel 1544, forse su disegno di Ludovico Beretta, trasformato nel XVIII secolo, conserva nel pianterreno
preziosi affreschi di Gerolamo Romanino, Lattanzio Gambara, Giuseppe Manfredini e Giuseppe Teosa. Palazzo Averoldi è oggi di proprietà della Fondazione Casa di Dio, dal 1861, Amministrazione degli orfanotrofi e delle pie Case di ricovero.