俄而为姚崇所构，出为相州刺史，仍充河北道按察使。俄又坐事左转岳州刺史，仍停所食实封三百户，迁右羽林将军，兼检校幽州都督。开元七年，检校并州大都督府长史，兼天兵军大使，摄御史大夫，兼修国史，仍赍史本随军修撰。八年秋，朔方大使王晙诛河曲降虏阿布思等千余人。时并州大同、横野等军有九姓同罗、拔曳固等部落，皆怀震惧。说率轻骑二十人，持旌节直诣其部落，宿于帐下，召酋帅以慰抚之。副使李宪以为夷虏难信，不宜轻涉不测，驰状以谏，说报书曰：“吾肉非黄羊，必不畏吃；血非野马，必不畏刺。士见危致命，是吾效死之秋也。”于是九姓感义，其心乃安。
九年四月，胡贼康待宾率众反，据长泉县，自称叶护，攻陷兰池等六州。诏王晙率兵讨之，仍令说相知经略。时叛胡与党项连结，攻银城、连谷，以据仓粮，说统马步万人出合河关掩击，大破之。追至骆驼堰，胡及党项自相杀。阻夜，胡乃西遁入铁建山，余党溃散。说招集党项，复其居业。副使史献请因此诛党项，绝其翻动之计，说曰：“先王之道，推亡固存，如尽诛之，是逆天道也。”因奏置麟州，以安置党项余烬。其年，拜兵部尚书、同中书门下三品，仍依旧修国史。
明年，又敕说为朔方军节度大使，往巡五城，处置兵马。时有康待宾余党庆州方渠降胡康愿子自立为可汗，举兵反，谋掠监牧马，西涉河出塞。说进兵讨擒之，并获其家属于木盘山，送都斩之，其党悉平，获男女三千余人。于是移河曲六州残胡五万余口配许、汝、唐、邓、仙、豫等州，始空河南逆方千里之地。说以讨贼功，复赐实封二百户。先是，缘边镇兵常六十余万，说以时无强寇，不假师众，奏罢二十余万，勒还营农。玄宗颇以为疑，说奏曰：“臣久在疆场，具悉边事，军将但欲自卫及杂使营私。若御敌制胜，不在多拥闲冗，以妨农务。陛下若以为疑，臣请以阖门百口为保。以陛下之明，四夷畏伏，必不虑减兵而招寇也。”上乃从之。
时当番卫士，浸以贫弱，逃亡略尽。说又建策，请一切罢之，别召募强壮，令其宿卫，不简色役，优为条例，逋逃者必争来应募。上从之。旬日，得精兵一十三万人，分系诸卫，更番上下，以实京师，其后彍骑是也。
是岁，玄宗将还京，而便幸并州，说进言曰：“太原是国家王业所起，陛下行幸，振威耀武，并建碑纪德，以申永思之意。若便入京，路由河东，有汉武隹上后土之祀，此礼久阙，历代莫能行之。愿陛下绍斯坠典，以为三农祈谷，此诚万姓之福也。”上从其言。及祀后土礼毕，说代张嘉贞为中书令。夏四月，玄宗亲为诏曰：“动惟直道，累闻献替之诚；言则不谀，自得谋猷之体。政令必俟其增损，图书又藉其刊削，才望兼著，理合褒升。考中上。”
说又首建封禅之议。十三年，受诏与右散骑常侍徐坚、太常少卿韦縚等撰东封仪注。旧仪不便者，说多所裁正，语在《礼志》。玄宗寻召说及礼官学士等赐宴于集仙殿，谓说曰：“今与卿等贤才同宴于此，宜改名为集贤殿。”因下制改丽正书院为集贤殿书院，授说集贤院学士，知院事。
及将东封，授说为右丞相兼中书令，源乾曜为左丞相兼侍中，盖勒成岱宗，以明宰相佐成王化也。说又撰《封禅坛颂》以纪圣德。初，源乾曜本意不欲封禅，而说因赞其事，由是颇不相平。及登山，说引所亲摄供奉官及主事等从升，加阶超入五品，其余官多不得上。又行从兵士，惟加勋，不得赐物，由是颇为内外所怨。先是，御史中丞宇文融献策，请括天下逃户及籍外剩田，置十道劝农使，分往检察。说嫌其扰人不便，数建议违之。及东封还，融又密奏分吏部置十铨，融与礼部尚书苏颋等分掌选事。融等每有奏请，皆为说所抑，由是铨综失叙。融乃与御史大夫崔隐甫、中丞李林甫奏弹说引术士夜解及受赃等状，敕宰臣源乾曜、刑部尚书韦抗、大理少卿胡珪、御史大夫崔隐甫就尚书省鞫问。说兄左庶子光诣朝堂割耳称冤。时中书主事张观、左卫长史范尧臣并依倚说势，诈假纳赂，又私度僧王庆则往来与说占卜吉凶，为隐甫等所鞫伏罪。说经两宿，玄宗使中官高力士视之，回奏：“说坐于草上，于瓦器中食，蓬首垢面，自罚忧惧之甚。”玄宗悯之。力士奏曰：“说曾为侍读，又于国有功。”玄宗然其奏，由是停兼中书令，观及庆则决杖而死，连坐迁贬者十余人。隐甫及融等恐说复用为己患，又密奏毁之。明年，诏说致仕，仍令在家修史。
初，说为相时，玄宗意欲讨吐蕃，说密奏许其通和，以息边境，玄宗不从。及瓜州失守，王掞死，说因获巂州斗羊，上表献之，以申讽谕。其表：“臣闻勇士冠鸡，武夫戴鹖，推情举类，获此斗羊。远生越巂，蓄性刚决，敌不避强，战不顾死，虽为微物，志不可挫。伏惟陛下选良家于六郡，求猛士于四方，鸟不遁才，兽不藏伎。如蒙效奇灵圃，角力天场，却鼓怒以作气，前踯躅以奋击。趹若奔云之交触，碎如转石之相叩，裂骨赌胜，溅血争雄，敢毅见而冲冠，鸷狠闻而击节。冀将少助明主市骏骨、揖怒蛙之意也。若使羊能言，必将曰‘若斗不解，立有死者’。所赖至仁无残，量力取劝焉。臣缘损足，未堪履地，谨遣男诣金明门奉进。”玄宗深悟其意，赐绢及杂彩一千匹。
十七年，复拜尚书左丞相、集贤院学士，寻代源乾曜为尚书左丞相。视事之日，上敕所司供帐，设音乐，内出酒食，御制诗一篇以叙其事。寻以修谒陵仪注功，加开府仪同三司。时长子均为中书舍人，次子垍尚宁亲公主，拜驸马都尉，又特授说兄庆王傅光为银青光禄大夫。当时荣宠，莫与为比。
十八年，遇疾，玄宗每日令中使问疾，并手写药方赐之。十二月薨，时年六十四。上惨恻久之，遽于光顺门举哀，因罢十九年元正朝会，诏曰：
弘济艰难，参其功者时杰；经纬礼乐，赞其道者人师。式瞻而百度允厘，既往而千载贻范。台衡轩鼎，垂黼藻于当今；徽策宠章，播芳蕤于后叶。故开府仪同三司、尚书左丞相、集贤院学士知院事、上柱国、燕国公张说，辰象降灵，云龙合契。元和体其冲粹，妙有释其至赜。挹而莫测，仰之弥高。精义探系表之微，英辞鼓天下之动。昔侍春诵，绸缪岁华。含舂容之声，叩而尽应；蕴泉源之智，启而斯沃。授命兴国，则天衢以通；济用和民，则朝政惟允。司钧总六官之纪，端揆为万邦之式。方弘风纬俗，返本于上古之初；而迈德振仁，不臻于中寿之福。于嗟不慭，既丧斯文。宣室余谈，泠然在耳；王殿遗草，宛留其迹。言念忠贤，良深震悼。是使当宁抚几，临乐彻悬，罢称觞之仪，遵往襚之礼。可赠太师，赐物五百段。
始玄宗在东宫，说已蒙礼遇。及太平用事，储位颇危，说独排其党，请太子监国，深谋密画，竟清内难，遂为开元宗臣。前后三秉大政，掌文学之任凡三十年。为文俊丽，用思精密，朝廷大手笔，皆特承中旨撰述，天下词人，咸讽诵之。尤长于碑文、墓志，当代无能及者。喜延纳后进，善用己长，引文儒之士，佐佑王化，当承平岁久，志在粉饰盛时。其封泰山，祠脽上，谒五陵，开集贤，修太宗之政，皆说为倡首。而又敦气义，重然诺，于君臣朋友之际，大义甚笃。时中书舍人徐坚自负文学，常以集贤院学士多非其人，所司供膳太厚，尝谓朝列曰：“此辈于国家何益，如此虚费。”将建议罢之。说曰：“自古帝王功成，则有奢纵之失，或兴池台，或玩声色。今圣上崇儒重道，亲自讲论，刊正图书，详延学者。今丽正书院，天子礼乐之司，永代规模，不易之道也。所费者细，所益者大。徐子之言，何其隘哉！”玄宗知之，由是薄坚。说既遭讪铄，罢知政事，专集贤文史之任，每军国大事，帝遣中使先访其可否。说尝自制其父《赠丹州刺史骘碑文》，玄宗闻之而御书其碑额赐之曰“呜呼，积善之墓”。有文集三十卷。太常谥议曰“文贞”，左司郎中阳伯诚驳议，以为不称，工部侍郎张九龄立议，请依太常为定，纷纶未决。玄宗为说自制神道碑文，御笔赐谥曰“文贞”，由是方定。“)