全椒图书馆建于清光绪二十七年（公元1900年）冬，当时图书馆设立于五先生祠堂内，不久迁至明伦堂左斋房，以后又迁移出奎光楼。

        北伐战争后，图书馆由民众教育馆接管。民国二十六年（1937年）冬，日军侵占全椒县城，民众教育馆停办，次年秋，民众教育馆在全椒程家市恢复，抗战胜利后，民众教育馆迁回县城。

        1949年元月，全椒解放后，图书馆并入县文化馆 。一九五六年，馆址在洪拦桥附近。一九六六年迁至迁至半边河酱醋厂附近，一九七0年十月迁至新华东路24号。一九七九年元月，经省图书馆正式批准成立“全椒县图书馆”。

        全椒县新图书馆处于全椒县襄河景观带太平文化广场南边。依托襄河沿岸自然河堤风光，丰富的生态资源，典型的徽派建筑风格，浓厚的儒林文化底蕴，成为独具特色的全椒地方文化新地标，全县人民幸福感获得感的新体现。     

         千呼万唤始出来，犹抱琵琶半遮面。今年欢笑复明年，秋月春风等闲度。如果说文化馆是安排存放心情的地方，那么图书馆则是人们升华知识精华灵魂的地方。功能设计功能布局完全从全椒领导层高度的文化责任文化关怀文化担当且依据各种标准进行考量。体现出两个显著特点。一是儒林文化元素在馆内的体现。一楼门厅书吧天井休闲区自习室地方文献展示厅等地方均以伴读的建设方式出现，伴以现代浮雕、灯饰、装饰、挂饰、壁画等形式，让人们在沐浴书香的同时感受儒林文化无处不在。二是装修色泽的处理，既体现简洁明快大方实用，也体现图书馆的基本特质。即光线柔和充足环境静谧安宁。因此，色泽上多以白灰米白米黄咖啡色为主色调，尽量减少多色彩杂乱视觉感分散，既突显书香弥漫升腾、灵魂在此停留、身心无比放松家的感觉。同时儿童活动室、亲子阅览室等功能室的墙面、地面、天花、灯具，包括书架桌椅的色泽款式材质都力求纯洁干净环保不凌乱，充分体现图书馆的安宁与清悠。       

          新馆主体建设分为上下二层，设借阅服务（含儿童、老人、外来务工人员、综合、残障、音视频借阅、地方文献、古籍等阅读）、电子阅览（含多媒体欣赏、触摸屏读报 、RFID自助服务 、书目检索 、宣传大屏公告导航、网站服务、手机移动服务）、多媒体视听、会议展览（含地方文献陈列、乡贤展览）、报告培训、休闲休息、内部业务、行政办公等八个功能区。