Eretto alla fine del secolo XII, il palazzo aveva in origine la fronte rivolta verso piazza del Duomo (lato sud), ritmata dalle attuali quattro arcate, tre maggiori e una minore (ora nascosta dal pronao del Duomo). Contende con il palazzo di Pavia il primato della più antica edificazione fra i broletti lombardi ancora esistenti. Tra '300 e ‘400 si ribaltò la fronte verso piazza Vecchia (lato nord), si aprirono gli archi a pian terreno e si abbellì la nuova facciata con una trifora centrale, poi sormontata da un leone di S. Marco, e con altre due trifore ai lati.

Un incendio, appiccato nel 1513 durante l’occupazione delle truppe di Carlo V, costrinse il Comune ad intervenire e fu l'occasione per far eseguire qualche decennio più tardi un restauro globale dell’edificio che venne affidato all'architetto Pietro Isabello e al figlio Leonardo (1538 - 1554). Nel portico, già usato in età comunale per le udienze, si introdussero le quattro colonne di ordine tuscanico con volte a crociera e al primo piano si realizzò un unico grandioso salone, detto “delle capriate”, avente come copertura un tetto a due falde, sostenuto da sette capriate in legno.

Nel 1547 Filippo Zanchi fu incaricato di dipingere a fresco sulla parete est la personificazione della Giustizia tra i Santi patroni della città Alessandro e Vincenzo.

Nel salone sono stati raccolti affreschi strappati da chiese e da edifici civili fra cui una Natività, proveniente dall'ex chiesa di S. Antonio in Foris (inizio sec. XIII), le Storie di S. Maria Maddalena dall'ex chiesa della Maddalena in via S. Alessandro (sec. XIV), un prezioso nucleo di affreschi trecenteschi dall'ex convento di San Francesco e i frammenti dei Sette saggi dell’antichità dipinti da Donato Bramante nel 1477 sulla fronte del palazzo del Podestà veneziano.

Al Salone, oggi adibito a sede di mostre e manifestazioni culturali, si accede mediante uno scalone tre-quattrocentesco alle cui spalle, nel 1881, furono collocate numerose lapidi sepolcrali di illustri famiglie bergamasche, provenienti dalla chiesa dell'ex monastero di S. Agostino.

Con la caduta del dominio veneziano (1797) il palazzo, da cui vennero cancellate tutte le insegne e le decorazioni della Serenissima fra cui il leone di S. Marco (quello attuale risale al 1933), fu adibito dapprima a teatro, e dal 1843 fino al 1928, a sede della biblioteca cittadina.

Sul pavimento del portico nel 1798 l’abate G. Albrici collocò, su ordine della Municipalità, un analemma (orologio solare indicante il mezzogiorno astronomico), inciso su lastra di marmo, restaurato nel 1982.