E' dal 2019 collegio "Di Merito", rimanendo comunque pubblico e dell'EDiSU.
La fondazione del Collegio si deve all'Imperatore d'Austria Giuseppe II, che decise la sua edificazione nel 1781 come Collegio Germanico-Ungarico.Questa risoluzione fece seguito alla decisione di non concedere la possibilità ai giovani residenti nei suoi stati di recarsi a Roma per seguire gli studi teologici. Nella città capitolina era infatti già presente un Collegio Germanico-Ungarico, sito in piazza Sant'Apollinare, retto dai Gesuiti e derivante dalla fusione operata nel 1580 dei preesistenti collegio Germanico (1552) e Collegio Ungarico (1579). La citata fondazione del Collegio Germanico nel 1552, su impulso di papa Giulio III, permette di inserire l'istituzione tra quelle pavesi della riforma cattolica, l'Almo Collegio Borromeo (1561) e il Collegio Ghislieri (1567), che precede di pochi anni, e come queste anche il Collegio Germanico prima e il Collegio Germanico-Ungarico poi, appare molto cospicuamente dotato con possedimenti che ne garantivano ampiamente il funzionamento e il mantenimento.
Parte di questi beni fondiari, in particolare quelli presenti a Santa Cristina e Genzone, nel pavese, e a Lodivecchio, saranno successivamente posti nella disponibilità del neo-istituito Collegio Germanico-Ungarico pavese. Quest'ultimo si pone quindi in stretta continuità con l'istituzione romana omonima, com'è anche confermato da alcuni passaggi della lettera che il Cancelliere austriaco Wenzel Anton von Kaunitz-Rietberg all'allora ministro plenipotenziario a Milano, il conte Carlo di Firmian. Il Kaunitz, infatti, in data 15 novembre 1781, scrive dell'intenzione del governo di attuare il “trasporto degli Alunnati del Collegio Germanico Ungarico di S. Apollinare in Roma” proprio “per quella porzione che corrisponde alle rendite possedute dal medesimo nel Milanese”.
Il trasferimento a Pavia, che puntualmente avverrà qualche anno dopo, non poggiò solamente su solide basi patrimoniali ed economiche, ma anche su di una ferma piattaforma ideale. L'Ateneo pavese era infatti sede di una Facoltà Teologica profondamente riformata, nel solco delle istanze più radicali di rinnovamento tra Stato e Chiesa.
Inaugurato nel 1783, il Collegio era sicuramente a pieno regime nel 1784, quando il marchese Alessandro Botta Adorno, conservatore, ossia amministratore, del Collegio stesso, ricevette l'Imperatore Giuseppe II, di passaggio a Pavia il 18 febbraio. Ad accogliere l'augusto ospite v'erano pure il Rettore del Collegio, l'abate Giuseppe Zola e il Prefetto degli studi, l'abate Pietro Tamburini.
In seguito all'occupazione francese il Collegio verrà chiuso nel 1796, i beni su richiesta del commissario Haller furono avocati alla Repubblica Francese e da allora il fabbricato sarà adibito a caserma, destinazione d'uso con cui attraversò anche le successive due guerre mondiali. Nel secondo dopoguerra, per interessamento dell'allora Rettore dell'Ateneo pavese, Plinio Fraccaro, il Demanio Militare restituirà il fabbricato all'Università di Pavia che riuscirà a riaprire la struttura come Collegio il 4 novembre del 1948, con rinnovato nome di Collegio Fratelli Cairoli, figure di spicco del risorgimento italiano, che detiene tuttora.