Za první svědectví o existenci archivu je považována zmínka ve statutech univerzity z r. 1360. Celouniverzitní (rektorský) archiv uchovával dokumenty, zejména listiny, historicky dokládající právní a majetkové postavení vysokého učení. První soupis univerzitních písemností byl pořízen pravděpodobně z majetkových důvodů v polovině 40. let 16. století. Po bitvě na Bílé hoře byl tzv. „fiscus“ (univerzitní pokladnice) s privilegii a dalšími archiváliemi zapečetěn a v následujícím roce předán jezuitům sídlícím v nedalekém Klementinu. Výrazný předěl v dějinách pražského univerzitního archivu představují tereziánské reformy, kdy bylo císařským reskriptem v r. 1755 univerzitě uloženo, jak má při péči o své archiválie postupovat. Po dlouhou dobu poté spravoval archiv univerzitní syndik T. A. Putzlacher. Na začátku 20. let 19. století došlo ke scelení většiny dosud roztříštěně uložených archivních celků a jejich přestěhování do místnosti v přízemí Karolina.

Po rozdělení pražské univerzity na německou a českou v r. 1882 univerzitní archiv spravovala německá univerzita, české bylo vyhrazeno právo jeho „úplného a rovnoměrného využívání“. Univerzitním archivářem byl jmenován profesor historie Adolf Bachmann, který přistoupil k nové inventarizaci archivního materiálu.

„Archivní otázka“ se stala jedním z trvajících problémů nedořešeného vztahu mezi oběma univerzitami i po převzetí archivu českou univerzitou 29. října 1918. V roce 1934 se kvůli začínající rekonstrukci Karolina archiv přestěhoval do místností nové budovy Právnické fakulty Univerzity Karlovy. Po okupaci českých zemí nacistickým Německem v roce 1939 byl univerzitní archiv opět převzat Německou univerzitou. Na konci války došlo ke ztrátě většího množství významných archiválií, jež byly odvezeny v rámci evakuace pražské německé univerzity a dodnes jsou nezvěstné.

V květnu roku 1945 převzal správu univerzitního archivu prof. Václav Vojtíšek. V roce 1958 byl zřízen Ústav pro dějiny Univerzity Karlovy, vědecké pracoviště zaměřené na výzkum dějin Univerzity Karlovy; univerzitní archiv se stal jedním z jeho dvou oddělení. Na konci šedesátých let se archiv přestěhoval z provizorních místností v budově Právnické fakulty do rekonstruované budovy v areálu Karolina, kde sídlí dodnes. V roce 1970, po předchozím zásahu Státní bezpečnosti v budově archivu, byl Ústav dějin Univerzity Karlovy na dvědesetiletí zrušen a přeměněn v Archiv Univerzity Karlovy, který ztratil oficiální status vědeckého pracoviště. Po změně režimu bylo v roce 1990 obnoveno vědecké pracoviště zkoumající historii Univerzity Karlovy, univerzitní archiv je od té doby jedním ze dvou oddělení Ústavu dějin UK a archivu UK.