À l’origine, cette bibliothèque est celle d’Antoine-René de Voyer de Paulmy d'Argenson (1722-1787), marquis de Paulmy, puis d’Argenson,
installé en 1757 dans la résidence du Grand Maître de l’Artillerie, au cœur de l’ancien Arsenal de Paris, et qui possédait une riche collection, constituée notamment de manuscrits médiévaux et d’estampes.
En 1786, il avait également fait l’acquisition de la collection du duc de La Vallière et, de son vivant, voulut que les savants eussent toute liberté de venir profiter de ses richesses.
Ambitionnant de faire de l’Arsenal une seconde Bibliothèque royale, il la revendit en entier, en 1785, au comte d’Artois. Ainsi, le roi avait sa bibliothèque, qui était publique, et avec laquelle aucune autre assurément ne pourrait rivaliser pour le nombre et l’importance des volumes mais, grâce à ces dispositions, le frère du Roi aurait aussi sa bibliothèque, qui, comme l’autre, serait publique.