文登素有“文登学”美誉，其文化基础雄厚，文化渊源深远，由来已久的崇文治学之风、丰厚的文化积淀及浓郁的文化氛围是文登市图书馆自然诞生、健康存在和茁壮发展的营养基础。
清康熙三十三年，文登知县朱应文捐资兴建 “崇文书院”，后经雍正年间知县王维年、乾隆四十六年知县何隧、嘉庆末年县人于丕绪等几次重修增修，改名为“崇文义学”。同治五年，知县陈汝楫捐资重修，将“崇文义学”改名“文山书院”，有房屋二十三间，图书七千余册。
土地改革时期，人民政府没收了地主士绅的图书，收藏于文登专署文化科。1952年，文登专区所辖文登、昆嵛两县相继建成文化馆。1956年3月，两县合并为文登县，两县文化馆图书室合并一处，于4月15日正式成立了文登县图书馆，馆址设在柳营街丛氏家祠，有房屋二十四间，约200平方米。建馆之初两县文化馆移交图书馆的图书4.5万册，其中线装书3万册，共计馆蔵54818册，刊物53种，报纸15种。设采编辅导和出借阅览两个组，共有工作人员8人，时任馆长杨小班。
1957年设采编辅导组、出借室、报刊阅览室；1958年增设科技阅览室，1年后停办。1959年殷文昌任馆长；1962年孙伯筠任馆长。1965年设借书室和报刊阅览室。
文革期间图书馆迁至新华书店，文革后迁回。十年动乱期间业务工作基本停滞，但古籍藏书保存完整。
1977—1984年馆藏年均增加七八千册，远远超过1956—1978年的年增二千六七百册的水平，时任馆长孙书宪。1984—2002年毕可娟接任馆长。
自1986年以来，连续21年被文登市委、市政府授予“文明单位”称号。
1988年12月9日，文登撤县改市，文登县图书馆改名文登市图书馆，设采编部、辅导部、出借室。同年被威海市评为“图书馆工作先进单位”。
1989年政府拨款5.5万元购买大型丛书《四库全书》。同年被山东省文化厅授予“先进图书馆”称号。
1991年底，文登市委市政府做出决定，在市中心建立一座图书馆大楼。1992年1月破土动工，1993年8月28日竣工剪彩，交付使用。新馆投资300万元，面积3565平方米，位于市中心广场西南侧、天福路8—1号。同年政府拨专款10万元添置图书设备，5万元购买新书。馆内设6部（成人出借部、儿童借阅部、阅览部、采编部、音像部、复印部）、4库（古书库、报刊库和两个综合库）、2室（成人阅览室、儿童阅览室）。
1994年被文化部评为“全国一级图书馆”和“全国文明图书馆”。
1996年获“迎接第62届国际图联图书宣传周先进集体”称号。文登政府拨专款36万元购买《四库全书存目丛书》。同年12月15日，图书馆举办建馆40周年庆祝活动，省内近20家图书馆负责人，文登市委、市政府及各部委办局、镇党委、政府负责人约300人应邀参加。馆庆期间收到全国各地文登籍名人捐赠图书4500余册，价值3.2万元，字画100余幅，举行“文登学人著作字画展”，建立文登学者档案。
1997年文登政府拨专款10万元购置图书管理自动化办公系统（ILAS系统），使图书管理全面实现现代化管理。同年，得到香港书商石景宜赠书1303册；全国政协常委、国务院发展研究中心副主任、文登学子王郁昭赠书1248册，价值5400元；山东省新闻出版局局长孙友海赠书1232册，价值5299元。
1998年文登市图书馆升为副科级单位；同年被文化部评为“全国一级图书馆”；获国家少工委、少儿部等四部门组织的“纪念周总理诞辰百周年征文有奖大赛”优秀组织奖。
2000年文登市图书馆出版《文登市图书馆文集》，根据馆藏孤本《守皖谳词》和《巡漳谳词》，2001年编辑出版了《徐公谳词》一书，该书2002年获得了华东优秀古籍图书二等奖，2003年又荣获威海市第六届社会科学优秀成果一等奖。
2002年丁培君馆长上任。年购书经费增至11万元，年底购置新型书架80组，将对外书库全部更新，购置密集型书架42组，将古籍全部密封管理。向社会贤达人士发起捐书捐款活动，收到捐赠书刊1000余册、捐款7450元。同年，政府拔专款2万元购进《续修四库全书存目丛书》。
2003年，图书馆工作人员增至25人，内设成人外借部、儿童借阅部、读者服务部、辅导部、采编部、参考咨询部和成人阅览室、老年阅览室、电子阅览室、微机室、办公室共6部5室。固定资产464万元，馆藏图书25.3万册。各类读者共计6000余人，年流通图书33万册次，年流通读者24万人次。开展了“局馆联姻”、“企馆联姻”、“军（警）民联姻”活动，先后建立起“市志年鉴专架”、“计划生育专架”、“农业科技专架”、“新书架”、“文登学人赠书专架”、“文登学子著书专架”“科普专架”等特色专架，并建立起具有一定规模的地方文献资料库。
2004年文登市图书馆抛弃“等、靠、要”思想，采取政府拨款、职工集资、寻求投资伙伴投资的方式，共筹集资金40余万元，在原基础上增上80台电脑，接入宽带网，安装38000册电子图书，成立了电子阅览室。建立全国文化信息资源共享工程文登市分中心，同年被文化部评为“国家一级馆”，被文登市文化局授予“集体一等功”嘉奖。
2005年被文登市妇女联合会评为“巾帼文明示范岗”，丁培君馆长被文登市委市政府授予嘉奖奖励。
2006年馆庆五十周年之际，向社会各界广泛进行地方文献征集活动，收到无偿捐赠作品2000余件，举办大型地方文献展，进一步充实了地方文献库；与中国网通集团（有限）公司文登分公司进行“网通杯”联谊年活动；出版《文登图书馆》纪念文集；同年被威海市妇女联合会评为“‘三八’红旗集体” ，丁培君馆长被文登市委市政府授予嘉奖奖励。
2007年4月12日，市图书馆首家农村图书交流中心在泽库镇泽库村正式挂牌。
2008年2月26日，山东省农家书屋工程建设工作会议在济南召开，省委常委、宣传部长李群出席会议并讲话，副省长黄胜主持会议。市委副书记栾波代表文登市在会议上作了题为《推进“农家书屋”建设，解决农民“文化温饱”》的典型经验交流发言，我市农家书屋工程建设的经验及做法在全省得到推广。
2009年，市新闻出版管理办公室被省乡村阅读工程及农家书屋建设协调小组评为“全省农家书屋建设十佳单位”。
2009年5月，于炜炜参加了中国图书馆学会举办的全国中小型公共图书馆2009年研讨会，结合文登市图书馆的实际，撰写论文《社区乡镇图书馆的拓新发展～“农家书屋”建设》，被中国图书馆学会推举为大会交流的首篇文章。
2010～2011为筹建新馆做准备，购入大批新书刊，并及时整编上架。
2011年6月，将许建中个人收藏的40多位文登籍当代作家的作品在一楼休息厅长期陈列。2011年，新建图书馆投入使用后,在省内县级馆中首家引进超高频RFID技术。
2012年底，全市已建成分馆18个，包括镇（办）分馆15个、社区分馆1个、特色馆1个、村级分馆1个，图书服务网络遍布全市，15万册图书和6TB数字资源在总分馆之间实现资源共享、通借通还。面向全市广大市民开办公益性文化性讲座——“昆嵛讲坛·市民大讲堂”深受群众欢迎。
2013年，顺利通过全国公共图书馆第五次评估定级，继续保持“一级图书馆”称号，被山东省文化厅授予“山东省古籍保护工作先进单位”称号，被中共山东省委宣传部、山东省社会科学界联合会授予“省级社会科学普及教育基地”称号。
2014年，被山东省质量强省及名牌战略推进工作领导小组授予“山东省服务名牌”称号。按照省厅“尼山书院”建设和服务标准，结合我区实际，开展了“尼山书院”建设工作，“六个一”硬件设施的全部到位，“五个板块”系列活动丰富多彩。9月29日，威海市尼山书院建设推进会推广了我区尼山书院建设的经验和做法。
2015年5月21日，中国图书馆学会第五届百县馆长论坛在福建省晋江市开幕。文登区图书馆提交的《文登区建设尼山书院促进图书馆发展》案例获得二等奖并在大会作交流发言。2015年第六届全国服务农民服务基层文化建设先进集体通过公示，文登区图书馆荣获先进集体称号。2015年省文化厅组织开展的“尼山书院建设示范单位”、“乡村（社区）儒学示范点”评选活动，文登区图书馆荣获“尼山书院建设示范单位”。
