渔溪王氏宗祠位于衡南县栗江镇大渔村渔溪组，始建于宋淳化五年（994），明永乐十六年（1418）大修，清康熙、雍正、乾隆、光绪年间都进行过维修。原名“楚南第一家”，明永乐二十年（1422），衡州知府史中奉明成祖朱棣旨意改为“衡阳第一家”并亲笔题书，建筑格局为三组四合院对称式主体。1990年中国文化部撰写的《中国名匾》已把王氏宗祠的门额匾“衡阳第一家”收入条目，湖南省建筑学会编写的《湖南建筑志》作为唯一的宗祠建筑录入，2007年6月中央电视台《走遍中国》栏目以王氏宗祠为主要内容拍摄2集。

王氏宗祠采用砖、石、木结构，座北朝南，抬梁式构造，硬山顶，封火山墙，小青瓦，五山屏墙爪角飞翘。通面阔60米，进深30米，建筑面积1702平方米，前坪及后苑总面积为5221平方米。古祠分前后两进，左右七开间，第一进前出廊，廊柱2根，两尽间厢房前出雨亭，左为培槐阁，右为羹梅阁，大门门座用汉白玉石制作，并雕刻二龙戏珠及宋明时期的文官塑像。大门两侧的门枕石为狮子背云鼓、门墩上浅浮雕花鸟及动物纹，四个门簪上有太极八卦及蝙蝠图案，门额镌“衡阳第一家”，楷书，系明永乐二十年（1422）衡州知府史中书。背面镌“入庙思敬”，楷书，为1938年时任国民政府军事委员会委员长蒋中正书。前进明间为戏台，戏台顶部为一藻井，左右回廊与后进相连，回廊之上出阁楼，后进明间为崇本堂，堂后檐步置神龛，供奉王万庄公夫妇牌位。后进左边为贤达祠、右边为节孝祠。祠内屋顶下的大梁、驼峰、檐口板、望板、檐枋、额枋及月牙梁等均雕有奇花异草、珍禽瑞兽、神话传说和人物故事等图案，48根圆石柱上有阴、阳刻对联17幅，各门框上有对联7幅，其中有明代尚书湛若水、曾朝节；明嘉靖八年（1529）状元、地理学家罗洪先以及内阁中书、刺史、知府等名人书法真迹和重要题跋，都是上乘的书法精品，更凸显王氏宗祠的文化艺术底蕴深厚。在主体建筑的额枋、平板枋上，大量使用五踩卷头造斗栱或彩绘斗栱、如意斗栱，其戗角卷尾和山墙卷尾多做成海棠、如意等花纹，栱眼内则多刻花草纹样，极具地方特色，建筑规格之高，为湖南少见。

1996年1月，湖南省人民政府公布为省级文物保护单位。

2013年3月，国务院公布为第七批全国重点文物保护单位。