平远县图书馆成立于1974年10月。新中国成立前（民国时期）设有“民众教育馆”，馆内藏书由于1949年秋国民党胡连兵团窜扰，全部散失殆尽。新中国成立初期，在县文化馆内设立了图书阅览室。1979年10月1日，平远县图书馆正式建成启用，坐落于环境安静、整洁休闲的革命烈士陵园内，馆名由平远籍当代著名书法家吴三立题写，建筑面积800平方米。“十三五”期间经改扩建后，图书馆总馆和分馆面积合计6000多平方米，平均每年接待读者10多万人次，1994年至今评为国家三级图书馆。

　　图书馆经全面升级改造，现有外借室、个性化阅读室、亲子室、展厅、少儿阅读室等功能场室，馆内配有大数据分析平台，阅读机，自助借还及办证一体机等先进设备，实现了自助借还的功能。截至2021年，图书馆拥有馆藏量20.23万册，同时与国家文化信息中心、省图书馆系统管理平台和图书信息资源实现资源共享。馆内自建并运营“平远县图书馆”微信公众号，定期发布活动预告、新闻动态等，实现线上、线下互联互通，为读者提供高效、优质的阅读服务。