话说高王怒世子放纵，召其夫妇同归，欲行废黜。犹惜其才美，诸子莫及，为之转辗不乐。一日，偶至仪光楼下，高洋兄弟四人在花荫踢球为戏，见王至，皆进前跪拜。王欲观诸子志量，尚未发言。一内侍捧乱丝数缕而过。
王问：“何所用？”对曰：“此织作坊弃下者。”王命诸子各取一缕治之。
高浚、高淹等皆以手分理，洋独拔剑将乱丝斩断，王问：“何为？”对曰：“乱者必斩。”王大奇之。先是高洋内虽明决，外若昏愚，澄甚轻之，且因其貌丑，每嗤曰：“此人亦得富贵，相法何由可解？”弟兄常侍王侧，问及时事，世子应答如流，洋默无一语，故王亦不甚爱之。今见其出语不凡，遂加宠爱，私语娄妃曰：“此儿志量刚强，聪明内蕴，非澄所及，可易而代之也。”妃曰：“澄辅政已久，朝野尽服，责其改过可耳。若竟废之，妾以为不可。”
未几，世子夫妇至晋阳，欲见王，王不见；见娄妃，妃独召公主入，以静仪事诘之。公主不敢隐。妃曰：“归语尔夫，父怒不可回也。”公主涕泣求解，妃曰：“汝且归府，俟其见父后图之。”公主归语世子，世子知静仪事发，大惧。次日，王坐德阳堂，先召赵道德、张保财责问世子所为：“若一言不实，立死杖下。”二奴惧，遂以实诉。王怒其导主为非，各杖一百，下在狱中。继召世子，历数其罪，杖而幽之，不放入朝。澄知身且见废，忧惧成疾。娄妃为言於王，王曰：“俟能改过，而后复其职。”妃遣使密报，疾渐愈。其后王命杨休之撰定律令，命世子主其事，每日诣崇义堂检校一次，即入德阳堂，侍於王侧。高王天性严急，终日衣冠端坐，威容俨然，人不可犯。以世子多过，不少假颜色。世子朝夕兢兢，唯恐获罪。一日，王昼寝。世子欲进见娄妃，求放还朝。值诸夫人在柏林堂游玩，惧涉嫌疑，不敢前进，背立湖山书院帘幕之下。盖诸夫人每朝谒娄妃，过了七星桥，便下车步行。
所经湖山书院、芙蓉楼、柏林堂，约百余步方至妃宫。芙蓉楼共七间，梁栋帏幔，皆画芙蓉，故以为名。湖山书院亦有十数间，内有洞庭湖、金芝亭、卧龙山，奇花异草，苍松翠柏，彷彿江南风景。又有沉香阁，高十余丈，藏度图书之所。柏林堂九间，内有古柏一株、小亭一座，景极幽雅。诸夫人谒退，常在此徘徊。有卢夫人者年尚幼，举止颇轻佻。在院观玩已久，回步走出，不知世子背立帘下，把帘一推，触落世子头上罗巾，见是世子，大惊，忙出帘外谢罪。世子未及回答，高王适至，见与卢夫人对立帘前，疑其相戏以致失帽，大怒曰：“尔在此何干？”诸夫人皆惊散。王将世子挥倒在地，拳打脚踢，无所不至。时陈元康最得王宠，适有事欲启，问：“王何在？”
内侍言：“王在柏林堂毒打世子，恐世子性命不保。”元康闻之，冒禁奔入，果见世子血流遍体，在地乱滚，王犹踢打不已。於是向前跪捧王足，涕泣哀告曰：“父子至情，大王何忍行此？倘失误致死，悔之何及？”王鉴其忠诚，遂止。元康忙扶世子出，随王回至德阳堂。王告以世子之罪，元康曰：“大王误矣。世子近甚畏敬，其入宫者不过入见内主耳。况诸夫人皆在，何敢相戏？失帽定出无心。大王细察，定知臣言不谬。且朝中权贵横行，非世子高才，无以制之，王何逞小忿而乱大谋？”王曰：“卿言良是，吾性严急，不能止也。”元康曰：“王自知严急，今后愿勿复然。”王不语。及入宫访诸众夫人，皆言并无相戏之事，怒乃解，然犹未肯遣其入朝也。娄妃以世子屡触父怒，通信高后，劝帝召之。及帝命下，王遂遣之，仍令辅政。临行，夫妇拜辞，王戒公主曰：“汝夫倘有不谨，必先告我。”又以道德可赦，保财奸巧，必欲杀之。娄妃以保财之妻乃旧婢兰春，从幼贴身服侍，即前此嫁王，兰亦有功，不忍杀其夫。因言之於王，亦赦其死。令每月彔府中事以报，隐而不报，必斩主仆。皆凛凛而去。於是世子归