浚字休明，将产之夕，有鵩鸟鸣于屋上。元嘉十三年，年八岁，封始兴王。十六年，都督湘州诸军事、后将军、湘州刺史。仍迁使持节、都督南豫豫司雍并五州诸军事、南豫州刺史，将军如故。十七年，为扬州刺史，将军如故，置佐领兵。十九年，罢府。二十一年，加散骑常侍，进号中军将军。
明年，浚上言：“所统吴兴郡，衿带重山，地多污泽，泉流归集，疏决迟壅，时雨未过，已至漂没。或方春辍耕，或开秋沈稼，田家徒苦，防遏无方。彼邦奥区，地沃民阜，一岁称稔，则穰被京城；时或水潦，由数郡为灾。顷年以来，俭多丰寡，虽赈赉周给，倾耗国储，公私之弊，方在未已。州民姚峤比通便宜，以为二吴、晋陵、义兴四郡，同注太湖，而松江沪渎壅噎不利，故处处涌溢，浸渍成灾。欲从武康珝溪开漕谷湖，直出海口，一百余里，穿渠浛必无阂滞。自去践行量度，二十许载。去十一年大水，已诣前刺史臣义康欲陈此计，即遣主簿盛昙泰随峤周行，互生疑难，议遂寝息。既事关大利，宜加研尽，登遣议曹从事史虞长孙与吴兴太守孔山士同共履行，准望地势，格评高下，其川源由历，莫不践校，图画形便，详加算考，如所较量，决谓可立。寻四郡同患，非独吴兴，若此浛获通，列邦蒙益。不有暂劳，无由永晏。然兴创事大，图始当难。今欲且开小漕，观试流势，辄差乌程、武康、东迁三县近民，即时营作。若宜更增广，寻更列言。昔郑国敌将，史起毕忠，一开其说，万世为利。峤之所建，虽侧刍荛，如或非妄，庶几可立。”从之；功竟不立。
二十三年，给鼓吹一部。二十六年，出为使持节、都督南徐兗二州诸军事、征北将军、开府仪同三司、南徐兗二州刺史，常侍如故。二十八年，遣浚率众城瓜步山，解南兗州。三十年，徙都督荆雍益梁宁南北秦七州诸军事、卫将军、开府仪同三司、荆州刺史、领护南蛮校尉，持节、常侍如故。
浚少好文籍，姿质端妍。母潘淑妃有盛宠，时六宫无主，潘专总内政。浚人才既美，母又至爱，太祖甚留心。建平王宏、侍中王僧绰、中书侍郎蔡兴宗并以文义往复。初，元皇后性忌，以潘氏见幸，遂以恚恨致崩，故劭深疾潘氏及浚。浚虑将来受祸，乃曲意事劭，劭与之遂善。多有过失，屡为上所诘让，忧惧，乃与劭共为巫蛊。及出镇京口，听将扬州文武二千人自随，优游外籓，甚为得意。在外经年，又失南兗，于是复愿还朝。庐陵王绍以疾患解扬州，时江夏王义恭外镇，浚谓州任自然归己，而上以授南谯王义宣，意甚不悦。乃因员外散骑侍郎徐爰求镇江陵，又求助于尚书仆射徐湛之。而尚书令何尚之等咸谓浚太子次弟，不宜远出。上以上流之重，宜有至亲，故以授浚。时浚入朝，遣还京，为行留处分。至京数日而巫蛊事发，时二十九年七月也。上惋叹弥日，谓潘淑妃曰：“太子图富贵，更是一理。虎头复如北，非复思虑所及。汝母子岂可一日无我耶！”浚小名虎头。使左右硃法瑜密责让浚，辞甚哀切，并赐书曰：“鹦鹉事想汝已闻，汝亦何至迷惑乃尔。且沈怀远何人，其讵能为汝隐此耶？故使法瑜口宣，投笔惋慨。”浚惭惧，不知所答。浚还京，本暂去，上怒，不听归。其年十二月，中书侍郎蔡兴宗问建平王宏曰：“岁无复几，征北何当至？”宏叹息良久曰：“年内何必还。”在京以沈怀远为长流参军，每夕辄开便门为微行。上闻，杀其嬖人杨承先。明年正月，荆州事方行，二月，浚还朝。十四日，临轩受拜。其日，藏严道育事发，明旦浚入谢，上容色非常。其夕，即加诘问，浚唯谢罪而已。潘淑妃抱持浚，泣涕谓曰：“汝始咒诅事发，犹冀刻己思愆，何意忽藏严道育耶？上责汝深，至我叩头乞恩，意永不释。今日用活何为，可送药来，当先自取尽，不忍见汝祸败。”浚奋衣而去，曰：“天下事寻自当判，愿小宽忧煎，必不上累。”
劭入弑之旦，浚在西州，府舍人硃法瑜奔告