招贤书院在兴下里徐墩街。清同治乙丑四年，倪尚忠等倡建。民国丙辰五年，倪道南等修葺。

——民国《建阳县志·卷六》

招贤书院在徐市街，兴建时间是清朝的同治四年（1865）。

清同治年间，附贡生倪尚忠、拔贡生谢嘉树、岁贡生杨思程、县丞倪承熙等一批人，募捐钱款，兴建书院。书院的规模宏大，楼宇巍峨。在为书院取名时，他们想到了徐市的人文蔚然，名流辈出：宋朝的艮斋先生魏掞之卜居玉田峰；明朝的御史陈纪著《玉溪文集》；明朝的监察御史王相居住筱岭；清朝又有进士陈星奎，举人陈崐、陈士哲等。徐市古称招贤里，因此书院就称“招贤书院”。

书院先后聘请郑培厚、倪寿朋为山长，知县汤箴卫也亲自来授过课。

民国五年，即1916年，书院年久失修，特别是文昌阁，有倒塌的危险。于是，集众人之力，重修书院。这一年袁世凯称帝。

书院最后一任山长倪寿朋，倪寿朋就是徐市人。

倪寿朋，字子庆，号鹤舫，光绪十五年（1889）的贡生，任永福县儒学教谕，后回徐市，主讲招贤书院。1916年二月，建阳成立第一高等小学校，地点设在招贤书院，有两间教室，可容六十人，一间校长室，一间教员室，一间接待室，还有礼堂、餐室、厕所。设施齐全。创办人就是倪寿朋等人。

第一高等小学校后的文昌阁则是第二国民学校，也成立于1916年二月。

倪寿朋等人参与创办第一高等小学校和第二国民学校。倪寿朋著作有《海鹤楼文集》《古香斋诗集》《乡土志》《小学评选》。民国十二年（1923），建阳县成立教育会，倪寿朋任会长。