安石初在蒲州时，太常卿姜皎有所请托，安石拒之，皎大怒。开元二年，皎弟晦为御史中丞，以安石等作相时，同受中宗遗制，宗楚客、韦温削除相王辅政之辞，安石不能正其事，令侍御史洪子舆举劾之。子舆以事经赦令，固称不可。监察御史郭震希皎等意，越次奏之，于是下诏曰：“青州刺史韦安石、太子宾客韦嗣立、刑部尚书赵彦昭等，往在先朝，曲蒙厚赏，因缘幸会，久在庙堂，朋党比周，闻于行路。景龙之末，长蛇纵祸，仓卒之间，人神愤怨，未闻舍生取义，直道昌言，遂削太上皇辅政之辞，用韦氏临朝之策。比常隐忍，复以崇班，将期愧畏，稍惩前恶，而尚款回邪，苟安荣宠。宜从谪官之典，以励事君之节。安石可沔州别驾，嗣立可岳州别驾，彦昭可袁州别驾，并员外置。”安石既至沔州，晦又奏云：“安石尝检校定陵造作，隐官物入己。”敕符下州征赃。安石叹曰：“此祇应须我死耳！”愤激而卒，年六十四。开元十七年，赠蒲州刺史。天宝初，以子贵，追赠开府仪同三司、尚书左仆射、郇国公，谥曰文贞。二子陟、斌，并早知名。
陟字殷卿，代为关中著姓，人物衣冠，弈世荣盛。安石晚有子，及为并州司马，始生陟及斌，俱少聪敏，颇异常童。陟自幼风标整峻，独立不群，安石尤爱之。神龙二年，安石为中书令，陟始十岁，拜温王府东阁祭酒，加朝散大夫，累迁秘书太堂丞，有文彩，善隶书，辞人、秀士已游其门矣。开元初，丁父忧，居丧过礼。自此杜门不出八年，与弟斌相劝励，探讨典坟，不舍昼夜，文华当代，俱有盛名。于时才名之士王维、崔颢、卢象等，常与陟唱和游处。广平宋公见陟叹曰：“盛德遗范，尽在是矣。”历洛阳令，转吏部郎中。张九龄一代辞宗，为中书令，引陟为中书舍人，与孙逖、梁涉对掌文诰，时人以为美谈。
后为礼部侍郎。陟好接后辈，尤鉴于文，虽辞人后生，靡不谙练。曩者主司取与，皆以一场之善，登其科目，不尽其才。陟先责旧，仍令举人自通所工诗笔，先试一日，知其所长，然后依常式考核，片善无遗，美声盈路。后为吏部侍郎，常病选人冒名接脚，阙员既少，取士良难，正调者被挤，伪集者冒进。陟刚肠嫉恶，风彩严正，选人疑其有瑕，案声盘诘，无不首伏。每岁皆赎得数百员阙，以待淹滞，常谓所亲曰：“使陟知铨衡一二年，则无人可选矣。”
陟门地豪华，早践清列，侍兒阉阍，列侍左右者十数，衣书药食，咸有典掌，而舆马僮奴，势侔于王家主第。自以才地人物，坐取三公，颇以简贵自处，善诱纳后进，其同列朝要，视之蔑如也。如道义相知，靡隔贵贱，而布衣韦带之士，恆虚席倒屣以迎之，时人以此称重。
李林甫忌之，出为襄阳太守，兼本道采访使，又改陈留采访使，复加银青光禄大夫。天宝中袭封郇国公，以亲累贬钟离太守，重贬义阳太守。寻移河东太守，充本道采访使。
十二年入考，在华清宫。右相杨国忠恶其才望，恐践台衡，乃引河东人吴象之谓曰：“子能使人告陟乎？吾以子为御史。”象之曰：“能。”乃告陟与御史中丞吉温结托，欲谋陷朝廷，又诱陟侄韦元志证之。陟坐贬为桂州桂岭尉，未之任，再贬昭州平乐尉。
会禄山反，陷洛阳，陟爱弟斌为贼所得。国忠欲构陟与贼通应，潜令吏卒伺其所居，欲协之令陟忧死。其士豪人劝陟曰：“昔张燕公窜逐，藏于陈氏，以免危亡。诏命傥来，谁敢申覆？未若轻舟千里，且泛溪洞，候事清徐出，岂不美也！”陟慨然应之曰：“我积信于国朝，非一代也。况素所秉心，无负神理，命之合尔，其敢逃刑？燕公之谋，诚愧厚意，不能从也。”因谢遣之，乃坚卧不动。
经岁余，潼关失守，肃宗即位于灵武，起为吴郡太守，兼江南东道采访使。未到郡，肃宗使中官贾游严手诏追之。未至凤翔，会江东永王擅起兵，令陟招谕，除御史大夫，兼江东节度使。陟以季广琛从永王下江，非其本意，惧罪出奔，未有所适，乃有表请拜广琛为丹阳太守、兼御史中丞、缘江防御使，以安反侧。因与淮南节度使高适、淮西节度使来瑱等同至安州。陟谓适、瑱曰：“今中原未复，江淮动摇，人心安危，实在兹日。若不齐盟质信，以示四方，令知三帅协心，万里同力，则难以集事矣。”陟推瑱为地主，乃为载书，登坛誓众曰：“淮西节度使、兼御史大夫瑱，江东节度使、御史大夫陟，淮南节度使、御史大夫适等，衔国威命，各镇方隅，纠合三垂，翦除凶慝，好恶同之，无有异志。有渝此盟，坠命亡族。皇天后士，祖宗神明，实鉴斯言。”陟等辞旨慷慨，血泪俱下，三军感激，莫不陨泣。其后江表树碑以纪忠烈。
无何，有诏令陟赴行在。陟以广琛虽承恩命，犹且迟回，恐后变生，祸贻于陟，欲往招慰，然后赴征，乃发使上表，恳言其急。陟驰至历阳，见广琛，且宣恩旨，劳徠行赏，陟自以私马数匹赐之，安其疑惧。即日便赴行在，谒见肃宗，肃宗深器之，拜御史大夫。拾遗杜甫上表论房琯有大臣度，真宰相器，圣朝不容，辞旨迂诞，肃宗令崔光远与陟及宪部尚书颜真卿同讯之。陟因入奏曰：“杜甫所论房琯事，虽被贬黜，不失谏臣大体。”上由此疏之。时朝臣立班多不整肃，至有班头相吊哭者，乃罢陟御史大夫，颜真卿代，授吏部尚书。自后任事宠臣，皆后来初用，望风畏忌，道竟不行。因宗人伐墓柏，坐不能禁，出为绛州刺史。乾元二年，入为太常卿。吕諲再入相，荐为礼部尚书、东京留守，判尚书省事，兼东京畿观察处置等使。逆贼史思明寇逼河洛，副元帅李光弼议守河阳，令陟率东京官属入关回避，乃令兵守陕州。有诏迁吏部尚书，留守如故，令止于永乐，不许至京，候光弼收复河洛，令陟依前居守。
陟早有台辅之望，间被李林甫、杨国忠所挤。及中原兵起，天下事殷，陟常自谓负经纬之器，遭后生腾谤，明主见疑，常郁郁不得志，乃叹曰：“吾道穷于此乎，有志不伸，得非天命乎！”因遘疾，上元元年八月，卒于虢州，时年六十五，赠荆州大都督。永泰元年，诏曰：“竭忠之臣，殁不废命，奉上之节，行固无私，言念饰终，抑惟恆典。故金紫光禄大夫、吏部尚书、兼御史大夫、充东京留守、兼判留司尚书省事、东京畿观察处置使、上柱国、郇国公韦陟，敦敏直方，端严峻整，弘敷典礼，表正人伦，学冠通儒，文含大雅。顷者询谟旧德，保厘成周，眷彼郊圻，资其慎固。而凶胡残丑，密迩河洛，命居陕、虢，时俟翦除。才加喉舌之荣，遽婴霜露之疾。方期克享眉寿，冀其有瘳，奄此殂殁，良深震悼。升车而复，以申三禭之恩；在牖加绅，宜崇八座之宠。可赠尚书左仆射。”太常博士程皓议谥为“忠孝”。刑部尚书颜真卿以为忠则以身许国，见危致命，孝则晨昏色养，取乐庭闱，不合二行殊难，以成“忠孝”。主客员外郎归崇敬又驳之，纷议不已。右仆射郭英乂不达其体，请从太常之状而奏。陟子允。
斌，景云初安石为宰辅时，授太子通事舍人。早修整，尚文艺，容止严厉，有大臣体，与兄陟齐名。开元十七年，司徒薛王业为女平恩县主求婚，以斌才地奏配焉。迁秘书丞。天宝初，转国子司业，徐安贞、王维、崔颢，当代辞人，特为推挹。天宝中，拜中书舍人，兼集贤院学士。兄陟先为中书舍人，未几迁礼部侍郎。陟在南省，斌又掌文诰。改太常少卿。天宝五载，右相李林甫构陷刑部尚书韦坚，斌以亲累贬巴陵太守，移临安太守，加银青光禄大夫。斌授五品时，兄陟为河东太守，堂兄由为右金吾将军，縚为太子少师，四人同时列戟，衣冠之盛，罕有其比。
十四载，安禄山反，陷洛阳，斌为贼所得，伪授黄门侍郎，忧愤而卒。及克复两京，肃宗乾元元年，赠秘书监。安石兄叔夏别有传。从父兄子抗，从祖兄子巨源。
抗，弱冠举明经，累转吏部郎中，以清谨著称。景云初，为永昌令，不务威刑而政令肃一。都辇繁剧，前后为政，宽猛得中，无如抗者。无几，迁右台御史中丞，人吏诣阙请留，不许，因立碑于通衢，纪其遗惠。开元三年，自左庶子出为益州长史。四年，入为黄门侍郎。“)