瑞樟书院，在永忠里麻沙镇。唐开国公刘翶见于御制《为善阴骘》者，卜居镇南，手植樟木，大数十围。建祠，祀祖中垒刘向。裔孙浔州太守刘中增创书院，与兄子翚讲道，而朱熹亦从子翚讲学于此。其后右史文忠公刘崇之、刘砥、刘砺、子寰，俱于斯受业于熹焉。厥后裔孙曰蓬山羽士刘瑺者，增创道源堂于中，配以子翚、崇之、砥、砺、子寰。又立五忠祠于后，以祀翱、颌、韐、子羽、珙、纯焉，是为西族，与五夫东族同一脉也。书院久圮，而扁额犹存。国朝正统十三年，奉部符重建。复圮。成化十八年，提学佥事任彦常檄县重建。嘉靖丙申，建宁道王庭复檄县修葺，并树坊表。癸丑，知县冯继科复新之。知县张其协诗：“名贤世泽满闽江，六百年来此瑞樟。春雨秋风好培植，儿孙元不替书香。”

——明嘉靖《建阳县志·卷五》

瑞樟书院，在麻沙渡头村。刘翱在唐乾宁三年（896）率部入闽镇守建州，携家族成员迁居麻沙渡头，并亲手植下樟树。到了宋朝，当年刘翱手植的樟树已“大数十围，根盘屈曲”。此处一直为刘氏家塾所在，直到“宋嘉定（1208—1224），裔孙浔州守曰中者创瑞樟书院”，宋嘉定年间（1208—1224），刘翱后裔、浔州太守刘中在先祖故居附近修建书院，与同族兄刘子翚在书院讲道，而朱子跟随刘子翚也往来于书院。“宋右史刘崇之尝从朱文公读书于此中，扁额犹存”，与书院有关的刘氏族人刘崇之、刘砥、刘砺、刘子寰，或学于朱子，或与朱子往来。

书院坐癸面丁，周围重冈叠嶂。背靠盘龙峰，面溪，溪南即是云岩，左侧是莲湖，右侧是武陵桥。书院宽十二丈、深二十八丈。书院前有五开间的门屋，中间悬挂匾额“瑞樟书院”；正堂悬挂匾额“道源”；迎来送往的客厅则悬挂“忠文世家”匾。

宋朝的嘉熙三年（1239），理宗皇帝亲自敇“瑞樟书院”匾。

到了明朝永乐年间，明成祖朱棣御撰《为善阴骘》，此书记载了“刘翱禁溺”的典故，记述刘翱救活人命、革除河西溺子恶习、济人利物等事迹。

明朝的成化十八年（1482），提学佥事任彦常视察福建各地的教育，从邵武到建阳，路过麻沙。任彦常见到瑞樟书院已经荒废，不由喟然长叹，并上书给代职的巡按监察御史汪奎，请求重建。汪奎答应了任彦常的请求，下令让建阳知县汪津重加修复。设立五忠堂，立三座牌坊，中间是“忠节流芳”，左边是“力扶正道”，右边是“五忠风烈”。嘉靖十二年（1533），佥事王庭重建“忠节流芳”“力扶正道”“五忠风烈”三坊。嘉靖三十二年（1553），知县冯继科修复。

明万历八年（1580），瑞樟书院被裁减。万历十三年（1585），重设。万历二十五年（1597），都御史金学曾重修。万历二十六年（1598），知县魏时应在麻沙街改建刘氏忠烈祠。

清代，未见官方的重建记录。1950年代，这棵瑞樟树因受雷电袭击，引起自焚，变成空心，树身可容数人。1990年代因干枯及人为挖树根而毁。如今，麻沙刘氏家族正重新修建。