潭溪书院，在崇泰里莒潭，宋黄文肃榦课徒之所。时朱子讲学云谷，筑此以便往还憩息。潭溪在崇安五夫里，榦从朱子游，实始于其地，故名其精舍仍曰“潭溪”，以示毋忘始授业之地。

——清道光《建阳县志·卷十六》

潭溪书院，即黄勉斋先生祠。在崇泰里莒口河坝。宋淳祐十七年，黄勉斋构草堂于此。明嘉靖八年，知县薛宗铠改为书院。天启六年，重修。崇祯六年，御史刘公以勉斋第三子輹、孙选二墓俱在莒口，乃分环峰书院优免之半，以奉祭祀。清乾隆庚申毁于火。癸酉，钦奉高宗纯皇帝谕旨，特颁内帑一千两鼎新重建，以门人潘柄、杨复、何墓、饶鲁配。辛亥，圮于水。嘉庆甲子，仁宗睿皇帝复颁帑金七百两重修。

——民国《建阳县志·卷八》

潭溪书院位于莒口河坝村，黄榦建，今废。黄榦（1152—1221），字直卿，闽县人，是朱子的高足兼女婿。朱门四大高足之一，潭阳七贤之一。

潭溪精舍的创建年代，据明代史学家晋江何乔远的《潭溪精舍记》一文记载，是在南宋庆元二年（1196）。“创于宋宁宗庆元二年。襄朱子往来云谷，先生构草堂为憩息之所”，潭溪精舍是朱子往来云谷山的晦庵草堂时休息之所。取“潭溪”之名，是因为黄榦最早在五夫的紫阳书堂学习，紫阳书堂前的溪流即为潭溪，黄榦在建阳莒口建精舍命名“潭溪”，是为了纪念他在五夫的那段时光，也为了表达对朱夫子的感念，“以示毋忘始授业之地”。

虽然潭溪精舍草创于庆元二年，但朱子与黄榦等人的《文集》都未记载，方彦寿先生认为： “（庆元党禁）风声日紧之时，朝中甚至有人发出要将朱熹问斩的叫嚣。此时，朱熹本人虽对此泰然处之，但作为朱熹的爱徒和女婿的黄榦，却不能不为恩师的安危深感担忧。为此，他在莒口河坝秘密地建造了一间草堂，以备情况危急之时可做为躲避权宜之所”。

嘉定九年（1216）三月，此时朱子已去世16年，黄榦聚门徒于潭溪精舍讲学，著书立言，《重修潭溪黄氏宗谱·卷二》载黄榦在此撰有《精舍春祀讲义》一书。

黄榦后来安排三子黄輹定居莒口。大德元年（1297），黄榦的孙辈黄铭在莒口师事熊禾。熊禾、胡廷芳、刘应李是极好的朋友。刘应李曾撰《潭溪精舍记》。记文所载潭溪书院深三十余丈，宽十余丈。北面则仰望云谷书院，南面则俯视莒潭及市井墟集。往上游，则去邵武，往下游，则到建阳。又有路通西山，道接书坊。离考亭也就三十多里，所以朱子常来常往， “文公以亲故，尝往云谷，亦尝憩于斯”。

宋亡之际，元兵烧毁书院。

明嘉靖六年（1527）巡抚张衡、巡按御史汪珊、江以达、县令薛宗铠为嘉志崇儒，改潭溪精舍为书院，但不久即被毁坏，“无何，流寇肆毁，止存门外与两庑而已”。

明天启五年（1625），巡抚南居益给书院赠匾，要求恢复，于是知县谢秉谦主持重建。重建后的书院，“华栋缘云，飞陛凌空，嵯峨崔巍，丰丽博敞”，中堂祀黄榦像，左设官厅，并配有食堂；右立生祠，祭祀有功于祠堂的建阳的父母官。后堂则祭祀历代祖先。同时，黄氏家族送了二人给督学使者考察，王潆、何万化考察后，给环峰书院的黄元稳、潭溪书院的黄申两人以秀才的待遇。建阳知县薛宗铠、魏时应给书院置田产。

崇祯四年（1631）建阳县教谕南京工部侍郎何乔远，写下《潭溪书院原记》，记文之后，又特为潭溪书院撰联：

慕道德于英韶，越境求师两月，而衣不解带，早见当仁之勇；

抒学术于经济，临边捍圉百雉，而邑有宁人，大振用世之才。

崇祯六年（1633），一位姓刘的御史考虑到黄榦的第三子黄輹、孙子黄选二墓都在莒口，就将环峰书院免除的租赋、力役等匀出一半给潭溪精舍。

清乾隆五年（1740）八月，潭溪书院毁于火；乾隆十八年（1753），乾隆帝拿出一千两的国库银子重建书院；乾隆五十六年（1791），毁于水；嘉庆九年（1804），嘉庆帝拿出国库七百两的银子重修；后年久失修，至1958年大炼钢铁时拆除。