汉帝被恶气冲倒，左右急扶帝入寝室，诸将到帐下问安，帝卧病不起，命医调治，数日方愈，帝重赏吴臣，遂封为忠毅候：仍行手敕，晓谕吴芮，用心把守江夏一带。以刘仲之子刘濞就封为吴王，镇守江东。
十一月，帝过鲁，闻阙里乃生孔子之处，有孔子之庭并孔林，帝即率文武群臣以太牢之礼祀之，并封其子孙，遍游泰岳胜境，复询问孔颜遗址，祀孔庙毕，还过丰沛，置酒沛营，悉召故人父老子弟纵酒笑乐，又招致沛中幼童得二百人，教之歌舞，竟日作欢饮酒，酒至半酣，帝起，击筑自为歌曰：
大风起兮云飞扬，威加海内兮归故乡，安得猛士兮守四方？
令歌儿皆和习之，帝乃自起歌舞，慷慨伤怀，泣数行下。谓父老曰：“游子悲故乡，想吾幼时，终日与乡人同处，眷恋不相舍，后起兵丰沛，遍游海内，乃经百余战，遂有天下。至今不觉老矣！尔等亦皆皤白。追思往日，情甚伤感。吾今虽极贵，万岁后，吾魂魄犹乐思丰沛。”遂以沛县为帝汤沐邑，悉免租税。父兄诸母敌人日与欢乐，帝恐太劳扰，欲启行，父兄又固请留帝，帝曰：“吾人马众多，沛具乃小邑，恐供给不敷，无久为民苦也。”帝不得已，又往三日，大兵起身，一日过洛阳，直抵关中，吕后、太子、戚姬、如意，并文武群臣迎接车驾入内，大排筵宴，犒赏诸将，自此天下无事。
帝宠爱戚姬益甚：吕后每怀嫉怨，因寻事喧怪咸姬，姬不能自安，一日帝有疾，入姬宫，见帝一向多疾，因奏曰：“陛下春秋渐高，若圣意不早以定议，吾母子恐他日无葬地矣！”帝曰：“此事亦甚易，待朕徐徐图之。”姬命左右置酒，与帝欢洽，帝大醉，枕姬膝上，遂熟寝。吕后密令探看，知帝在姬宫饮酒，后乘兴即过西宫，有守宫门近侍报姬曰：“吕娘娘至矣！”姬因帝枕膝熟睡，不敢惊扰，坐床未起，后忽至，大骂曰：“贱婢每见我，恣肆无状，今入尔宫，尚高坐不起，是何道理？”姬曰：“妾见后，岂敢不远迎？因帝熟睡，不敢惊寝，以此失礼。”后曰：“贱婢每见我，便以帝为辞；他日万岁后，定着汝为讖粉！”遂大怒骂詈而去，戚姬半晌无言，惟咂咽堕泪，不意泪点滴于帝面上，帝觉来。酒醒，见威姬堕泪，帝惊问曰：“爱卿缘何垂泪？”姬曰：“适间陛下枕妾膝睡熟，不料吕后自外来，臣妥恐惊陛下寝，不敢动身，后怪不起，嗔怪而去，欲侍陛下万岁后，致臣妾力齑粉：妾因此啼泣，误以泪珠污陛下龙颜，妾该万死。”遂跪伏在地，娇容愁貌。万种风姿。帝急以手揽衣抚之曰：“汝放心！管教汝无事，明日出朝，与群臣会议，定易太子，汝必为皇后，如意为太子，吕后岂能害汝耶？”戚姬叩首拜谢。
帝商议已定，次日出朝文武群臣朝参毕，帝遂手敕，着令群臣再议更易太子，务台公论，勿执已见。帝遂命群臣，赴丞相府商议。
吕后知觉，因召吕泽人内议曰：“帝宠戚姬，不念旧德，累次诏群臣，要易太子，此事如何？”吕泽曰：“臣识见浅小，不足以谋大事，娘娘若要筹策，须差人密问张子房，看他有甚识见。”后曰：“张子房导引辟谷，一向不出，岂可为我筹画？”吕泽曰：“臣与子房之子张辟疆交好，央他转与子房通达，料子房一言之间，便可主意。”后即命吕泽同辟疆往问张良：初不欲言，吕泽曰：“泽奉后命，来问公画计，今公不言，臣何以复后？今泽但有死而已，必不能出公之门也。”良曰：“此事非敢不言，但不可以口舌争也。”泽曰：“出公之口，入泽之耳，何不可言之有？”良乃附耳谓泽曰：“帝平白所重者有四人，一向征聘，其人坚志不欲来，隐于商山之南，此山离长安三百里，山势最险，多出芝草，间来采芝而食，凿泉而饮，飘然与世相忘，帝深慕其人，而不能力致，每欲除之，又恐天下人非议，亦且阻塞贤路，遂任彼自乐。今娘娘差人卑礼厚币，辞意恳切，务求此四人，以羽翼太子，帝一见之，则自然不敢言