El foment d'una bona biblioteca era un altre exemple de la voluntat instructiva del casino. En els Estatuts de l'any 1905 es contemplava com a necessitat "proporcionar als socis la millor instrucció possible adquirint obres escollides en art, literatura, ciències, ... formant una Biblioteca que contingués tot allò que fos digne de figurar-hi i estès en harmonia amb les necessitats i els medis del Centre". En un principi estava situada a la planta baixa, al costat del saló-cafè i en discussió al teatre, però ben aviat es planteja la necessitat de buscar un espai millor. L'any 1925 el Baix Empordà informava de la voluntat de traslladar-la al primer pis i l'agost de 1931 s'hi instal·lava definitivament, lloc on encara és actualment.
No es pot negar que moltes juntes van fer un esforç considerable per convertir la biblioteca en un espai útil. Van ser nomenats, en successives ocasions, bibliotecaris com Abraham Dispés, a principis de segle, o l'Emili Puig, a partir de 1932. Aquest mateix any es decidia que tots els joves palafrugellencs menors de 17 anys, fossin socis o no, podien treure profit de la biblioteca. El gener de 1915 es va publicar un catàleg amb la relació de totes les obres existents i la seva col·locació. Segons aquest inventari el nombre d'obres era de 564 –més o menys uns set-cents volums -, amb el predomini de les obres escrites en castellà –el 85%. Bona part d'aquests llibres eren novel•les d'autors coneguts, com Blasco lbáñez, Pérez Galdós, Tolstoi, Zola... i eren molt excepcionals les obres de caire sòcio-polític i extremistes. L'obra de l'anarquista Proudhom ¿Qué es la propiedad?; El Capital de Marx o La Historia del movimiento republicanano en Europa de Castelar eren les úniques pinzellades extremistes de la biblioteca. Les obres catalanes només representaven el 12'6% del volum de la biblioteca i la major part eren traduccions al català d'obres d'autors estrangers o espanyols. Per últim, hi havia una isolada representació de la literatura francesa.
Molts dels llibres eren segones adquisicions, procedents de biblioteques particulars del poble o bé donacions d'entitats públiques o privades. Els llibres de les donacions públiques eren divulgatius però, bàsicament, de temes agrícoles o rurals, poc escaients en un poble on la base econòmica era la indústria i el comerç.
Un dels greus problemes eren els robatoris de llibres que portaren la Junta Directiva, en algunes ocasions, a la decisió de controlar l'accés a la biblioteca o a establir un horari.
La biblioteca tenia una secció d'hemeroteca, especialment rica en revistes i periòdics de tot tipus i d'ideologies diverses, d'àmbit local, comarcal, nacional i, fins i tot, internacional. Aquesta diversitat enriquia, notablement, l'esperit crític dels socis que participaven a les tertúlies del saló-cafè.
Alguns palafrugellencs del món de la cultura varen minimitzar i criticar el paper de la biblioteca. Josep Pla a L'Empordanet deia que "tenia un sentit sociològic una mica primari i una tendència literària ingènuament naturalista", El diari Ara, l'octubre de 1931, criticava durament la biblioteca: "No conec l'autor d'una frase feliç sobre la biblioteca del Centre Fraternal. Aquesta biblioteca és un magatzem de llibres". Aquestes consideracions no falsegen la realitat, la biblioteca no es va caracteritzar per la quantitat i varietat, però no és bo oblidar que va tenir una significació especial per a molts socis i palafrugellencs. El Baix Empordà, l'any 1922, feia una valoració més positiva, afirmant que el Fraternal era l'únic casino que disposava d'una biblioteca pública.