Nel 1564, in Pavia, il Pellegrino ha dato principio per il Cardinal Borromeo a un palazzo per la Sapienza”. Così Giorgio Vasari nelle “Vite de’ più eccellenti Architetti, Pittori et Scultori” prendeva nota della nascita del collegio: la posa della prima pietra avvenne il 19 giugno 1564. La bolla di fondazione di papa Pio IV “Ad apostolicae dignitatis apicem” risaliva a tre anni prima, al 15 ottobre 1561 e il progetto era stato affidato all’architetto Pellegrino Pellegrini detto il Tibaldi (1526-1596).
Fondato per permettere a giovani dotati di talenti intellettuali ma sprovvisti di beni, quindi impossibilitati ad accedere all’Università ed a dedicarsi agli studi e per garantire al tempo stesso, in età controriformistica, un’adeguata formazione morale (l’ambasciatore veneziano ebbe a dire che “l’esempio del Borromeo ha più valore di tutti i decreti del Concilio di Trento”) il collegio a partire dall’apertura ufficiale del 1 aprile 1581 (anno in cui, come ricorda Manzoni nel XXII capitolo dei Promessi Sposi, entrò Federico Borromeo, futuro cardinale arcivescovo di Milano e fondatore della Biblioteca Ambrosiana) ha ospitato circa quattromila alunni.