Là một trong những kho lưu trử tài liệu mang tính quốc gia của triều đình nhà Nguyễn, được xây dựng vào 1825 trên hòn đảo hình chữ nhật giữa hồ Ngọc Hải cạnh hồ Tịnh Tâm. Toà nhà được làm bằng đá, tầng dưới 11 gian, tầng trên 7 gian và 2 chái. Theo tài liệu thời Nguyễn thì tất cả sổ sách của sáu bộ và các nha tại kinh đô sau mỗi năm đưa đến đây để lưu giữ.
Sau khi xây dựng xong, lầu Tàng Thơ là một toà nhà gạch hai tầng đồ sộ, Tầng dưới 11 gian, tầng trên 7 gian và 2 chái. Chung quanh có tường gạch cao 2m bao bọc. Lầu nằm trên một hòn đảo cách biệt, nối với mặt đường bằng một cây cầu xây gạch đá ở phía Tây. Mặt nền lầu bên dưới lớp gạch Bát Tràng được lát bằng các tấm chì để cách âm và rải bột lưu huỳnh nhằm chống mối mọt.
Qua năm tháng và biến động lịch sử, những tư liệu quý lưu trữ ở lầu Tàng Thơ đã bị thát lạc. Ngôi lầu bị hư hỏng xuống cấp nghiêm trọng.