蔡伦纪念馆位于耒阳市人民路74号，其前身是蔡侯祠，原为东汉造纸术发明家蔡伦故宅，后人为纪念他，就其宅基建祠。蔡侯祠始建年代不祥，后几经兴废，现存建筑为清代重修，古朴典雅。

蔡伦纪念馆总建筑面积2000平方米，座南朝北，砖木结构。分三进两院，中轴线上由北至南分3进，即门厅、中厅、后厅；左右置耳房、侧室；进间中为通道，两旁置天井，形成2个院落，是具有清代湘南地方特色的建筑。馆内共设七个展室，主要介绍蔡伦生平、我国书写材料发展史、纸的传播途径、造纸术在我国古代各个时期的发展状况、纸的用途、与蔡伦有关的遗迹和文物、后人为纪念蔡伦而做的一些工作等。

2001年，耒阳市人民政府将纪念馆扩建为占地面积116亩的蔡伦纪念园，园内有蔡伦青铜塑像、蔡子池、怀圣台、碑廊、蔡伦造纸作坊、香炉宝鼎、蔡候祠、蔡伦古井、蔡伦墓等十余个景点。蔡伦纪念园年均接待游客观众30余万人次，已成为弘扬科学、传承文明、开展爱国主义教育的重要场所，受到中央领导的重视和社会各界的广泛关注。

1996年9月被评为全国百个爱国主义教育基地之一；2006年6月被列为第六批全国重点文物保护单位；2008年被评为国家3A级旅游景点。