Zygmunt August był miłośnikiem książek oraz kolekcjonerem sztuki. W swojej bibliotece zgromadził 4 tysiące książek oraz niezwykłe tkaniny – arrasy – które zdobiły ściany komnat.
W przeciwieństwie do swojego ojca – Zygmunta Starego – Zygmunt August był miłośnikiem wiedzy i piękna. Zgromadzony przez niego księgozbiór jest zaliczany do najważniejszych osiągnięć renesansowego bibliofilstwa. W pracę nad tworzeniem księgozbioru byli zaangażowani specjalni agenci odpowiedzialni za sprowadzanie publikacji oraz szereg zatrudnionych na stałe bibliotekarzy m.in. Jan z Koźmina, Stanisław Koszutski oraz Łukasz Górnicki. Książki były oprawione w skórzane oprawy wykonywane przez najlepszych w kraju rzemieślników i introligatorów. Do naszych czasów przetrwało około 700 woluminów, które znajdują się w polskich, rosyjskich, litewskich i szwedzkich instytucjach.