自开成五年冬回纥至天德，至会昌四年八月平泽潞，首尾五年，其筹度机宜，选用将帅，军中书诏，奏请云合，起草指踪，皆独决于德裕，诸相无预焉。以功兼守太尉，进封卫国公，三千户。五年，武宗上徽号后，累表乞骸，不许。德裕病月余，坚请解机务，乃以本官平章事兼江陵尹、荆南节度使。数月追还，复知政事。宣宗即位，罢相，出为东都留守、东畿汝都防御使。
德裕特承武宗恩顾，委以枢衡。决策论兵，举无遗悔，以身扞难，功流社稷。及昭肃弃天下，不逞之伍，咸害其功。白敏中、令狐綯，在会昌中德裕不以朋党疑之，置之台阁，顾待甚优。及德裕失势，抵掌戟手，同谋斥逐，而崔铉亦以会昌末罢相怨德裕。
大中初，敏中复荐铉在中书，乃相与掎摭构致，令其党人李咸者，讼德裕辅政时阴事。乃罢德裕留守，以太子少保分司东都，时大中元年秋。寻再贬潮州司马。敏中等又令前永宁县尉吴汝纳进状，讼李绅镇扬州时谬断刑狱。明年冬，又贬潮州司户。德裕既贬，大中二年，自洛阳水路经江、淮赴潮州。其年冬，至潮阳，又贬崖州司户。至三年正月，方达珠崖郡。十二月卒，时年六十三。
德裕以器业自负，特达不群。好著书为文，奖善嫉恶，虽位极台辅，而读书不辍。有刘三复者，长于章奏，尤奇待之。自德裕始镇浙西，迄于淮甸，皆参佐宾筵。军政之余，与之吟咏终日。在长安私第，别构起草院。院有精思亭；每朝廷用兵，诏令制置，而独处亭中，凝然握管，左右侍者无能预焉。东都于伊阙南置平泉别墅，清流翠，树石幽奇。初未仕时，讲学其中。及从官籓服，出将入相，三十年不复重游，而题寄歌诗，皆铭之于石。今有《花木记》、《歌诗篇录》二石存焉。有文集二十卷。记述旧事，则有《次柳氏旧书》、《御臣要略》、《代叛志》、《献替录》行于世。
初贬潮州，虽苍黄颠沛之中，犹留心著述，杂序数十篇，号曰《穷愁志》。其《论冥数》曰：
仲尼罕言命，不语神，非谓无也。欲人严三纲之道，奉五常之教，修天爵而致人爵，不欲信富贵于天命，委福禄于冥数。昔卫卜协于沙兵，为谥已久；秦塞属于临洮，名子不悟；朝歌未灭，而国流丹乌；白帝尚在，而汉断素蛇。皆兆发于先，而符应于后，不可以智测也。周、孔与天地合德，与神明合契，将来之数，无所遁情。而狼跋于周，凤衰于楚，岂亲戚之义，不可去也，人伦之教，不可废也。条侯之贵，邓通之富，死于兵革可也，死于女室可也，唯不宜以馁终，此又不可以理得也。命偶时来，盗有名器者，谓祸福出于胸怀，荣枯生于口吻，沛然而安，溘然而笑，曾不知黄雀游于茂树，而挟弹者在其后也。
乙丑岁，予自荆楚，保厘东周，路出方城间，有隐者困于泥涂，不知其所如，谓方城长曰：“此官人居守后二年，南行万里。”则知憾予者必因天谴，谮予者乃自鬼谋。虽抱至冤，不为恨。予尝三遇异人，非卜祝之流，皆遁世者。初掌记北门，管涔隐者谓予曰：“君明年当在人君左右，为文翰之职，须值少主。”予闻之，愕然变色，隐者亦悔失言，避席求去。予问曰：“何为事少主？”对曰：“君与少主已有宿缘。”其年秋登朝，至明年正月，穆宗缵绪，召入禁苑。及为中丞，闽中隐者叩门请见，予下榻与语，曰：“时事非久，公不早去，冬必作相，祸将至矣。若亟请居外，则代公者受患。公后十年终当作相，自西而入。”是秋，出镇吴门，时年三十六岁。经八稔，寻又仗钺南燕。秋暮，有邑子于生引鄴郡道士至。才升阶，未及命席，谓予曰：“公当为西南节制，孟冬望舒前，符节至矣。”三者皆与之协，不差岁月。自宪闱竟十年居相位，由西蜀而入，代予持宪者，俄亦窜逐。唯再谪南荒，未尝有前知之士为予言之。岂祸患不可移者，神道所秘，莫得预闻。
其自序如此。斯论可以警夫躁竞者，故书于事末。
德裕三子。烨，检校祠部员外郎、汴宋亳观察判官。大中二年，坐父贬象州立山尉。二子幼，从父殁于崖州。烨咸通初量移郴州郴县尉，卒于桂阳。子延古。
史臣曰：臣总角时，亟闻耆德言卫公故事。是时天子神武，明于听断；公亦以身犯难，酬特达之遇。言行计从，功成事遂，君臣之分，千载一时。观其禁掖弥纶，岩廊启奏，料敌制胜，襟灵独断，如由基命中，罔有虚发，实奇才也。语文章，则严、马扶轮；论政事，则萧、曹避席。罪其窃位，即太深文。所可议者，不能释憾解仇，以德报怨，泯是非于度外，齐彼我于环中。与夫市井之徒，力战锥刀之末，沦身瘴海，可为伤心。古所谓攫金都下，忽于市人，离娄不见于眉睫。才则才矣，语道则难。
赞曰：公之智决，利若青萍。破虏诛叛，摧枯建瓴。功成北阙，骨葬南溟。呜呼烟阁，谁上丹青？“)