京都藏书处有“钤山堂”、“忠弼堂”、“听雨楼”、“延恩阁”等。在故乡又大建藏名之“宝翰楼”，址选南昌，嘉靖皇帝御书“琼翰流辉”以赐。宝翰楼藏书有两个“特别多”。首先是宋元版书特别多，据王世贞《朝野异闻录》载：“籍没严嵩家宋板书籍六千八百五十三部。”其次是抄本书特别多，共有2613本，这么多的抄本基本上都是抄录皇宫秘阁中罕见的宋元版本图书，故尤其珍贵。据《式古堂书画考》载：“《严氏书品册页目》：手抄宋元书籍2613本，没入大内。一应经、史、子、集等书计5852部、套，发各儒学贮收；一应道、佛各经决计914部、套，发各寺观供诵。”《历朝四百五十人传记?严嵩》中也提到，严嵩削职抄家之时，“经、史、子、集6766部、套，听雨楼石刻法帖358件”尽充公。严嵩的藏书印有“介溪珍玩”、“钤山堂图书印”、“钤山堂家藏经史之印”等。
由此可见，严嵩的藏书量是惊人的，等级之高是罕见的。能达到如此规模，一方面说明了严嵩对书的偏爱，另一方面也说明了他以权力和地位而不择手段地巧取豪夺。宝翰楼的藏书虽然无与伦比，但它并没有属于严嵩多长时间。1565年遭遇抄家时，便被全部没收，随着严嵩政治生命的结束，宝