Im 17. Jahrhundert wurde der Aufbau diplomatischer Beziehungen mit dem Osmanischen Reich immer wichtiger für die Habsburgermonarchie. Damit auch Schüler für die Berufsdiplomatie ausgebildet werden konnten, wurde 1645 in Konstantinopel ein Sprachknaben-Institut eröffnet. Auch Frankreich, Venedig und Polen unterhielten dort ähnliche Ausbildungsstätten.
Aus unterschiedlichen Beweggründen wurde es im 18. Jahrhundert üblich die Sprachknaben-Institute in den eigenen Ländern anzusiedeln und die Auszubildenden nur noch zur praxisnahen Vertiefung des Erlernten nach Konstantinopel zu schicken.
Kaiserin Maria Theresia gründete 1754 die Kaiserlich-Königliche Orientalische Akademie in Wien. Viele angehende Händler und Diplomaten besuchten fortan diese Einrichtung, um eine umfassende Sprachausbildung zu erhalten und sich in Rechts- und Staatswissenschaften zu bilden.
Veränderte internationalen Beziehungen und neue Anforderungen führten im 20. Jahrhundert zu einer Reorganisation der Akademie, die 1898 in K. u. k. Konsularakademie umbenannt wurde. Die Anzahl der Studierenden erhöhte sich, weshalb Kaiser Franz Joseph den Bau eines größeren Gebäudes genehmigte. Nach kurzer Bauzeit konnte 1904 der Studienbetrieb in der Waisenhausgasse im neunten Wiener Bezirk aufgenommen werden, 1913 wurde diese Adresse in die heute bekannte Boltzmanngasse 16 umbenannt.
1938 wurde die Akademie von den Nationalsozialisten übernommen, die in den nachfolgenden Jahren die westlichen und orientalischen Abteilungen zusammenlegten, Unterrichtsgegenstände strichen und den Lehrplan änderten. Das Gebäude wurde während des Zweiten Weltkriegs als Lazarett genutzt, der Lehrbetrieb konnte nur sehr eingeschränkt weitergeführt werden und wurde schließlich im März 1941 eingestellt.
In der zweiten Hälfte der 1940er Jahre wurde das Gebäude von den Streitkräften der Vereinigten Staaten übernommen, später an die USA verkauft und seitdem als Botschaft genützt.
Die Nachfolgeinstitution der Konsularakademie ist die 1964 von Bruno Kreisky eröffnete Diplomatische Akademie in der Favoritenstraße 15a im vierten Wiener Bezirk. Seit 1996 hat die Diplomatische Akademie Wien - Vienna School of International Studies den Status einer unabhängigen öffentlichen Ausbildungseinrichtung und zählt zu den weltweit ältesten Berufsschulen für internationale Beziehungen.
Der Bibliotheksbestand der Konsularakademie war thematisch auf die Anforderungen der Diplomatenausbildung ausgerichtet. Bereits um 1839 umfasste er etwa 5000 Werke. Bücher in und über Arabisch, Osmanisch-Türkisch und Persisch waren für den Spracherwerb und die Ausbildung der Studierenden essenziell. Weitere wichtige Unterrichtsgebiete waren Geschichte, Geographie, Recht, Politik und internationaler Handel, das spiegelte sich auch im Buchbestand wider.
In der Bibliothek befanden sich auch juristische Werke und historische Dokumente, darunter Texte zu internationalen Beziehungen, diplomatischen Protokollen und dem Konsularwesen. Einen weiteren Sammlungsschwerpunkt bildeten historische Manuskripte und bedeutende Aufzeichnungen über die Beziehungen des Habsburgerreiches zum Nahen Osten.
Während des Nationalsozialismus wurde der Bestand der Bibliothek zunächst in die Kaiserlichen Archive in der Bankgasse und am Minoritenplatz verlegt. Später erfolgte eine weitere Übersiedlung in Räumlichkeiten unter der Peterskirche im ersten Wiener Bezirk, um sie während des Krieges zu schützen.
Nach ihrer Auflösung im Jahr 1949 wurden Teile der Sammlung auf verschiedene Institutionen verteilt: Das Orientalische Institut der Universität Wien erhielt insbesondere die sprachwissenschaftlichen Werke, während 517 Handschriften und Archivmaterial dem Haus-, Hof- und Staatsarchiv übergeben wurden, wo sie sich bis heute befinden. Etwa 8000 Bände fanden ihren Platz in der Bibliothek des Haus-, Hof- und Staatsarchivs.
