石门县图书馆始建于1980年3月，择址于本县城西方顶山腰，1985年7月馆舍落成并对外开放。2000年初，县委、县政府决定，县图书馆与县新一中共同开发，异地修建，选址东城区黄金路。2006年9月，新馆落成，图书馆整体搬迁，同年11月28日正式开馆。

石门县图书馆现有建筑面积3500余平方米，干部职工11人。设有综合外借室、少儿阅览室、过报过刊查询室、现报现刊阅览室、盲人阅览室、古籍珍藏室、参考咨询室、地方文献室、文献采编室、伍家宥遗赠图书展室、申阅庐后裔捐书展室、石门人士文学作品珍藏室、石门人士书画作品走廊、全国文化信息资源共享工程县级支中心、电子阅览室、石门图书馆网站、湖南图书馆石门文库、湖南省少儿图书馆石门分馆以及多功能报告厅等服务窗口。拥有藏书总量18万余册，开通了图书自动化管理系统。

石门县图书馆于自建馆以来，先后取得了省文明图书馆、省一级图书馆、省“服务农民、服务基层”文化建设先进集体、国家二级图书馆等荣誉称号。并在2009年全国第四届、2013年全国第五届公共图书馆评估定级中，连续两次被国家文化部授予了“国家一级图书馆”荣誉称号。