建阳县童游乡回瑶洪尾村人。兄弟三人，慕祥最小。他家无田，仅有三间破漏屋，全靠佃耕过活。四岁时，母亲劳累过度病逝，父亲忧郁成疾，也于次年逝世。慕祥从小就跟哥哥参加田间劳动。

民国33年(1944年)，刚成年的二哥慕嫩被抓去当兵，从此杳无音信。民国37年1月，慕祥也被抓去，编入县保安队，派驻建阳县黄坑乡。

1949年5月下旬，黄坑解放，慕祥毅然加入中国人民解放军，随部队转战江西，广东、广西等省，参加歼灭国民党政府军广西白崇禧集团军战役。1951年3月，他加入抗美援朝行列，参加著名的第一次战役。随后调到志愿军一三五团二营机枪连当通讯员。1952年10月，上岭战斗打响，参加师部轮训队学习的慕祥要求回部队参战。10月20日凌晨，英雄黄继光在597.9高地战斗中英勇牺牲。由于战友壮烈事迹激励，他回营部，要求到黄继光生前战的六连参加战斗，接任六连六班班长的职务。慕祥白天守坑道口，有时照顾伤病员，晚上管领战斗小组袭击敌军，并随时做好反击准备。10月3日，我下达大反击命令，六连的务是攻取597.9高地主峰。入夜，突击部队冲向敌军阵地，冲在最前头的六班战士离主峰3号阵地只有50米，被敌军集的火力所封锁，部分战士负伤、牺牲，慕祥也多处负伤。连长准战斗时机，果断地下令“爆破”!一个战士冲上去牺牲了，第二个战士提起手雷往前冲，负伤倒下;第三个战士正要向前冲，慕祥大喊一声:“我去!”此时，连长看到慕祥两次负伤，不同意他上，周围战士也都相争要上。慕祥大吼道:“我一定得去，我是共产党员，是党考马我的时刻!”连长终于同意他上，命令机枪手从两侧吸引敌军火力，掩护慕祥。此刻，敌军火力点的轻重机枪交叉成扇形，猛烈扫射。慕祥时左时右，忽而奔跑，忽而匍匐，艰难地向敌靠近。突然，阵地上升起照明弹，敌军机枪直朝他扫射，慕祥突然倒在阵地上。但他很快就拖着再次负伤的身躯，继续前进，把手雷塞进火力点，狡猾的敌人迅速地将手雷推出来。慕祥手上只剩一颗手雷，为了不让敌军把手雷推出来，他抱着手雷滚近敌方碉堡。“轰”地一声巨响，敌军最后一座堡垒飞上了天，通往597.9高地的通道打开了，吕慕祥为世界和平事业，为中朝人民献出青春。

中国人民志愿军领导机关授予吕慕祥特等功，并追认为志愿军二级战斗英雄。