El Centre Fraternal també va cedir, en algunes ocasions, el seu saló-teatre i, en general, va tenir bones relacions amb una entitat cultural-recreativa prou significativa i digna del record. Aquesta entitat va ser l'Ateneu Palafrugellenc.

Els ateneus són coetanis als casinos i apareixen a Catalunya a mitjan segle XIX, amb l'objecte de millorar el nivell cultural dels seus associats, mitjançant conferències, cursets, etc. Aquests centres disposaven d'un local, més o menys espaiós, amb una biblioteca i es mantenien gràcies a les quotes dels socis i a les minses ajudes filantròpiques.

A principis de l'any 1913 el mestre Josep Barceló i Matas aconseguia una de les seves il·lusions: la creació de l'Ateneu Palafrugellenc, de caràcter interclassista. La seva primera ubicació fou una casa de lloguer al carrer Caritat, per passar després al carrer de Cavallers, l'any 1919 i al carrer del Raval Inferior, el maig de 1920. En pocs anys, en concret l'any 1916, ja tenia uns 300 socis que participaven activament en les activitats proposades per la Junta Directiva encapçalada, fins l'any 1917, per Josep Barceló. Tot i la marxa del gran mestre, l'Ateneu va continuar existint sota la presidència de Joan De Linares Delhom fins a la dictadura de Primo de Rivera (1923).

La tasca cultural va ser l'aspecte més característic i foren moltes les conferències, els cursets de divulgació, les tertúlies, etc.

Molt d'èxit van tenir les classes públiques per a nois i noies de la secció d'esperanto anomenada Paco Kaj Amo que es feien els dimarts i els divendres. Però l'Ateneu, al mateix temps, oferia possibilitats recreatives, com els balls del diumenge, la festa de l'arbre de Nadal que consistia en el lliurament d'un obsequi a les senyoretes de l'entitat o bé els actes programats per la Festa Major. També tenia un equip de futbol una secció coral i dramàtica, i una secció d'excursionisme. L'Ateneu va néixer amb molta afecció per l'excursionisme ja que era un esport que permetia el coneixement de la natura i, a la vegada, del propi país.

L'Ateneu va exercir una tasca patriòtica i catalanitzadora notable i una bona prova n'és l'adhesió, l'any 1915, al Comitè pro-llengua Catalana, format per entitats catalanistes, sobretot de Barcelona.

L'Ateneu no fou mai una entitat sexista i el paper de les dones era reconegut. Participaven en les activitats però també exercien funcions directives, com per exemple Rosa Roig i Martí, vice-presidenta de la Junta Directiva, l'any 1919.

D'altra banda, durant els anys trenta apareixia un nou ateneu de caràcter social i anarquista conegut amb el nom d'Ateneu Cultural Racionalista. Fou fundat per Martí Laviña el 29 d'abril de 1933 i estava situat al carrer de Cavallers. A causa dels fets d'octubre de 1934 va ser clausurat fins al gener de 1936 i el setembre del mateix any tenia la seu a l'edifici de Can Bech, anomenant-se Ateneu Cultural Llibertari. Durant els primers anys es va dedicar a la programació de cicles de conferències científiques, artístiques o divulgatives que es feien, entre d'altres llocs, al Centre Fraternal. Però durant la Guerra Civil intensificà la tasca d'adoctrinament, sobretot de la joventut, amb conferències com la de Vicens Pla sobre el tema El deure de la joventut en el moment actual, el febrer de 1937. També organitzava sessions de cinema al Coliseu Empordanès per recollir cabals en profit de les Milícies Antifeixistes.