Στο νοτιοανατολικό τμήμα της Αγοράς, νότια της Στοάς του Αττάλου βρίσκονται τα κατάλοιπα του συγκροτήματος με την ασυνήθιστη μορφή. Ο πυρήνας του αποτελούνταν από ένα ευρύχωρο τετράγωνο δωμάτιο με μαρμάρινο δάπεδο, στα δυτικά του οποίου ανοίγονταν μεγάλη υπαίθρια περίστυλη αυλή. Γύρω από τους δύο χώρους αναπτύσσονταν τρεις ακανόνιστες στοές που στέγαζαν καταστήματα στο πίσω μέρος. Την έχτισε στα τέλη του 1ου μ.Χ. ο Τίτος Φλάβιος Πάνταινος, γιος του επικεφαλής φιλοσοφικής σχολής και την αφιέρωσε στην Αθηνά Αρχηγέτιδα, τον αυτοκράτορα Τραϊανό και τους Αθηναίους. Σε επιγραφή αναφέρονταν οι κανονισμοί της βιβλιοθήκης: «Δεν επιτρέπεται να απομακρυνθεί κανένα βιβλίο, αφού ορκιστήκαμε. (Η βιβλιοθήκη) θα παραμένει ανοιχτή από την πρώτη έως την έκτη ώρα». Πολιτιστικό και εκπαιδευτικό ίδρυμα, η Bιβλιοθήκη αντανακλά τη θέση της Αθήνας ως σημαντικού εκπαιδευτικού κέντρου της Ρωμαϊκής αυτοκρατορίας. Η βιβλιοθήκη καταστράφηκε το 267 μ.Χ. από τους Ερούλους, ενώ ένα τμήμα της ενσωματώθηκε κατά τον 5ο αιώνα σε ένα μεγάλο περίστυλο οικοδόμημα.
Αρχαία Αγορά, Ελληνιστική Εποχή, Μνημείο