Seit den Tagen der Gründung der Alma Mater Rudolphina im Jahr 1365 standen die rechtlich bedeutsamen Urkunden, Matrikel und Geschäftbücher sowie die Universitätssiegel unter der Obhut der Universitätsrektoren , die sie an ihre jeweiligen Amtsnachfolger in einer 1388 angeschafften Archa Universitatis - einer eisenbewehrten Archivtruhe - weitergaben. Schon im 16. Jahrhundert wurde das Archivum Universitatis zur Verwaltung der rechtlich und historisch relevanten Dokumente eingerichtet. Von 1708 an sind die Archivare namentlich bekannt. Das Amt des Archivarius Universitatis bekleideten zunächst Professoren der Theologischen und der Juridischen Fakultät ehrenamtlich.
Im Jahr 1875 führte man die Altregistraturen und Archive des Rektorats und der übrigen Universitätseinrichtungen (Fakultäten, akademischen Nationen, Universitätsämter, Bursen, Stiftungen usw.) zusammen und richtete ein zentrales Archiv für alle Bereiche der Universität Wien ein. Das Archiv wird seitdem von hauptamtlichen Archivaren und Historikern betreut, die zunächst von der staatlichen Archivverwaltung, seit 1953 von der Universität direkt bestellt wurden. Ihre Ausbildung haben sie im Institut für Österreichische Geschichtsforschung genossen.
Seit 1875 ist das Universitätsarchiv öffentlich zugänglich. Organisatorisch war das Archiv zunächst der Archivkommission des Akademischen Senats unterstellt und wurde im Jahr 1975 der Universitätsdirektion als Abteilung eingegliedert. In den Jahren 2000 bis 2003 war es als selbständige Dienstleistungseinrichtung organisiert, seit 1. Jänner 2004 ist es an die neue Dienstleistungseinrichtung Bibliotheks- und Archivwesen angeschlossen.