高祖固让；加录尚书事，又不受，屡请归籓。天子不许，遣百僚敦劝，又亲幸公第。高祖惶惧，诣阙陈请，天子不能夺。是月，旋镇丹徒。天子重遣大使敦劝，又不受。乃改授都督荆、司、梁、益、宁、雍、凉七州，并前十六州诸军事，本官如故。于是受命解青州，加领兗州刺史。
卢循浮海破广州，获刺史吴隐之。即以循为广州刺史，以其同党徐道覆为始兴相。二年三月，督交、广二州。十月，高祖上言曰：“昔天祸皇室，巨狡纵篡，臣等义惟旧隶，豫蒙国恩，仰契信顺之符，俯厉人臣之愤，虽社稷之灵，抑亦事由众济。其翼奖忠勤之佐，文武毕力之士，敷执在己之谦，用亏国体之大，辄申摄众军先上，同谋起义，始平京口、广陵二城。臣及抚军将军毅等二百七十二人，并后赴义出都，缘道大战，所余一千五百六十六人。又辅国将军长民、故给事中王元德等十人，各一千八百四十八人，乞正封赏。其西征众军，须论集续上。”于是尚书奏封唱义谋主镇军将军讳豫章郡公，食邑万户，赐绢三万匹。其余封赏各有差。镇军府佐吏，降故太傅谢安府一等。十一月，天子重申前令，加高祖侍中，进号车骑将军、开府仪同三司。固让。诏遣百僚敦劝。三年二月，高祖还京师，将诣廷尉；天子先诏狱官不得受，诣阙陈让，乃见听。旋于丹徒。
闰月，府将骆冰谋作乱，将被执，单骑走，追斩之。诛冰父永嘉太守球。球本东阳郡史，孙恩之乱，起义于长山，故见擢用。初，桓玄之败，以桓冲忠贞，署其孙胤。至是冰谋以胤为主，与东阳太守殷仲文潜相连结。乃诛仲文及仲文二弟。凡桓玄余党，至是皆诛夷。
天子遣兼太常葛籍授公策曰：“有扈滔天，夷羿乘衅，乱节干纪，实挠皇极。贼臣桓玄，怙宠肆逆，乃摧倾华、霍，倒拔嵩、岱，五岳既夷，六地易所。公命世英纵，藏器待时，因心资敬，誓雪国耻。慨愤陵夷，诚发宵寐。既而岁月屡迁，神器已远，忠孝幽寄，实贯三灵。尔乃介石胜机，宣契毕举，诉苍天以为正，挥义旅而一驱；奔锋数百，势烈激电，百万不能抗限，制路日直植城。遂使冲鲸溃流，暴鳞奔汉，庙胜远加，重氛载涤，二仪廓清，三光反照，事遂永代，功高开辟，理微称谓，义感朕心。若夫道为身济，犹縻厥爵，况乃诚德俱深，勋冠天人者乎！是用建兹邦国，永祚山河，言念载怀，匪云足报。往钦哉！俾屏余一人，长弼皇晋，流风垂祚，晖烈无穷。其降承嘉策，对扬朕命。”十二月，司徒、录尚书、扬州刺史王谧薨。
四年正月，征公入辅，授侍中、车骑将军、开府仪同三司、扬州刺史、录尚书、徐兗二州刺史如故。表解兗州。先是，遣冠军刘敬宣伐蜀贼谯纵，无功而返。九月，以敬宣挫退，逊位，不许。乃降为中军将军，开府如故。
初，伪燕王鲜卑慕容德僭号于青州，德死，兄子超袭位，前后数为边患。五年二月，大掠淮北，执阳平太守刘千载、济南太守赵元，驱略千余家。三月，公抗表北讨，以丹阳尹孟昶监中军留府事。四月，舟师发京都，溯淮入泗。五月，至下邳，留船舰辎重，步军进琅邪；所过皆筑城留守。鲜卑梁父、莒城二戍并奔走。慕容超闻王师将至，其大将公孙五楼说超：“宜断据大岘，刈除粟苗，坚壁清野以待之。彼侨军无资，求战不得，旬月之间，折棰以笞之耳。”超不从，曰：“彼远来疲劳，势不能久；但当引令过岘，我以铁骑践之，不忧不破也。岂有预芟苗稼，先自蹙弱邪！”初，公将行，议者以为贼闻大军远出，必不敢战。若不断大岘，当坚守广固，刈粟清野，以绝三军之资，非唯难以有功，将不能自反。公曰：“我揣之熟矣。鲜卑贪，不及远计，进利克获，退惜粟苗。谓我孤军远入，不能持久，不过进据临朐，退守广固。我一得入岘，则人无退心，驱必死之众，向怀贰之虏，何忧不克！彼不能清野固守，为诸君保之。”公既入岘，举手指天曰：“吾事济矣！”