原名旭，避神宗讳，改字晹叔。建阳三桂里(考亭)人。北宋景佑元年(1034年)进历任封州(今属广东)知州、汉阳军(今属湖北)知军。后调朝廷，任监察御史，右司谏，居舍人等职。他在朝中任谏官5年，所上奏有一百数十事。一次升之上奏章，认为昭文馆、贤院是士大夫荣升途径，近用人越来越背弃惯例，变成贵族做官进取的阶梯，请求严格选拔人才。皇帝下令:“自今，臣僚乞为子孙恩者，无得除馆阁。”有一次著作佐郎王瓘路遇节度使承佑未下马，承佑大声怒斥王瓘，并将他押送到开封府。升之为此上奏:“朝官遇见殿帅何必下马让路”，弹劾承佑骄横放肆。朝廷免去承佑殿帅官职。升之因此提为天章阁待制，历任河北都转运使，瀛州(今河北河间)知州，真定府(今河北保定)知府，加龙图阁直学士。

不久，升之再入朝任谏官，与翰林学士承旨孙汴、代御史中丞张昪共同考核转运使和提点刑狱官的劳绩过失，得升枢密院直学士。年余，又升开封府枢密副使。这时谏官御史唐介、范师道等人联合上奏，告升之暗中勾结宦官，才得到重用。仁宗皇帝把奏章交与升之，升之不置一词，请求辞职。仁宗虽对辅佐政事的近臣说:我选用执政大臣，怎容臣僚干预言论呢?但最后还是对双方都予贬斥，升之以资政殿学士身份出任定州(今河北定县)知州，不久调太原知府。治平二年(1065年)升之第三次入朝，任枢密副使。后因母老，请求外放，授知越州。

熙宁元年(1065年)，升之赴朝继任枢密使，兼任制置三司条例司之职，和王安石共事，商讨推行变法。当年十月，翰林学士王安石被神宗召见，安石上书主张变法，荐升之任宰相之职--中书门下平章事、集贤殿大学士。寻因升之与王安石对设置三司条例司看法不一，且新法受朝臣反对，便托病归卧百余日。神宗几次敦促劝谕，才回到朝廷。适遇母丧，升之去相，回家守孝。服丧期满，升之于熙宁七年十二月回朝廷任枢密使。不久因病解职，以同平章事衔出任镇江节度使、扬州通判，封秀国公。次年闰四月罢归建阳考亭。家居四年有余，在元丰二年(1079年)病逝，终年69岁。朝廷赠太保、中书令，谥号“成肃”。