太宗曰：“卿谓我不如炀帝，何如桀、纣？”对曰：“若此殿卒兴，所谓同归于乱。且陛下初平东都，太上皇敕大殿高门并宜焚毁，陛下以瓦木可用，不宜焚灼，请赐与贫人。事虽不行，然天下翕然讴歌至德。今若遵旧制，即是隋役复兴。五六年间，趋舍顿异，何以昭示子孙，光敷四海？”太宗叹曰：“我不思量，遂至于此。”顾谓房玄龄曰：“洛阳土中，朝贡道均，朕故修营，意在便于百姓。今玄素上表，实亦可依，后必事理须行，露坐亦复何苦，所有作役，宜即停之。然以卑干尊，古来不易，非其忠直，安能若此？可赐彩二百匹。”侍中魏徵叹曰：“张公论事，遂有回天之力，可谓仁人之言，其利博哉！”累迁太子少詹事，转右庶子。
时承乾居春宫，颇以游畋废学，玄素上书谏曰：“臣闻皇天无亲，惟德是辅，苟违天道，人神同弃。然古三驱之礼，非欲教杀，将为百姓除害，故汤罗一面，天下归仁。今苑中娱猎，虽名异游畋，若行之无常，终亏雅度。且傅说曰：‘学不师古，匪说攸闻。’然则弘道在于学古，学古必资师训。既奉恩诏，令孔颖达侍讲，望数存问，以补万一。仍博遣有名行学士，兼朝夕侍奉。览圣人之遗教，察既行之往事，日知其所不足，月无忘其所能。此则尽善尽美，夏启、周诵，焉足言哉！夫为人上者，未有不求其善，但以性不胜情，耽惑成乱。耽惑既甚，忠言遂塞，所以臣下苟顺，君道渐亏。古人有言：‘勿以小恶而不去，小善而不为。’故知祸福之来，皆起于渐。殿下地居储两，当须广树嘉猷。既有好畋之淫，何以主斯匕鬯？慎终如始，犹惧渐衰，始尚不慎，终将安保！”寻又兼太子少詹事。十三年，又上书谏曰：“臣闻周公以大圣之材，犹握发吐飧，引纳白屋，而况后之圣贤，敢轻斯道？是以礼制皇太子入学而行齿胄，欲使太子知君臣、父子、长幼之道。然君臣之义、父子之亲、尊卑之序、长幼之节，用之方寸之内，弘之四海之外，皆因行以远闻，假言以光被。伏惟殿下睿质已隆，尚须学文以饰其表。至如孔颖达、赵弘智等，非惟宿德鸿儒，亦兼达政要，望令数得侍讲，开释物理，览古谕今，增晖睿德。而雕虫小伎之流，只可时命追随，以代博弈耳。若其骑射畋游，酣歌戏玩，以悦耳目，终秽心神，渐染既久，必移情性。古人有言：‘心为万事主，动而无节即乱。’臣恐殿下败德之源，在于此矣。”承乾并不能纳。太宗知玄素在东宫频有进谏，十四年，擢授银青光禄大夫，行太子左庶子。时承乾久不坐朝，玄素谏曰：“宫内止有妇人耳，不知如樊姬之徒，可与弘益圣德者有几？若遂无贤哲，便是亲嬖幸，远忠良。人不见德，何以光敷三善？且宫储之寄，于国为重，所以广置群僚，以辅睿德。今乃动经时月，不见宫臣，纳诲既疏，将何补阙？”承乾嫉其数谏，遣户奴夜以马挝击之，殆至于死。承乾又尝于宫中击鼓，声闻于外，玄素叩阁请见，极言切谏，承乾乃出宫内鼓，对玄素毁之。是岁，太宗尝对朝问玄素历官所由，玄素既出自刑部令史，甚以惭耻。谏议大夫褚遂良上疏曰：“臣闻君子不失言于人，圣主不戏言于臣。言则史书之，礼成之，乐歌之。居上能礼其臣，臣始能尽力以奉其上。近代宋孝武轻言肆口，侮弄朝臣，攻其门户，乃至狼狈。良史书之，以为非是。陛下昨见问张玄素云：‘隋任何官？’奏云：‘县尉。’又问：‘未为县尉已前？’奏云：‘流外。’又问：‘在何曹司？’玄素将出阁门，殆不能移步，精爽顿尽，色类死灰。朝臣见之，多所惊怪。大唐创历，任官以才；卜祝庸保，量能使用。陛下礼重玄素，频年任使，擢授三品，翼赞皇储，自不可更对群臣，穷其门户，弃昔日之殊恩，成一朝之愧耻。人君之御臣下也，礼义以导之，惠泽以驱之，使其负戴玄天，罄输臣节，犹恐德礼不加，人不自励。若无故忽略，使其羞惭，郁结于怀，衷心靡乐，责其伏节死义，其可得乎？”书奏，太宗谓遂良曰：“朕亦悔此问，今得卿疏，深会我心。”承乾既败德日增，玄素又上书谏曰：
臣闻孔子云：“能近取譬，可谓仁之方也已。”然《书》、《传》所载，言之或远，寻览近事，得失斯存。至如周武帝平定山东，卑宫菲食，以安海内。太子赟举措无端，秽德日著。乌九轨知其不可，具言于武帝；武帝慈仁，望其渐改。及至践祚，狂暴肆情，区宇崩离，宗祀覆灭，即隋文帝所代是也。文帝因周衰弱，凭藉女资，虽无大功于天下，然布德行仁，足为万姓所赖。勇为太子，不能近遵君父之节俭，而务骄侈，今之山池遗迹，即殿下所亲睹是也。此时亦恃君亲之恩，自谓太山之固，讵知邪臣敢进其说？向使动静有常，进退合度，亲君子，疏小人，舍浮华，尚恭俭，虽有邪臣间之，何能致慈父之隙？岂不由积德未弘，令闻不著，谗言一至，遂成其祸？窃惟皇储之寄，荷戴殊重，如其积德不弘，何以嗣守成业？圣上以殿下亲则父子，事兼家国，所应用物，不为节限。恩旨未逾六旬，用物已过七万，骄奢之极，孰云过此。龙楼之下，惟聚工匠；望苑之内，不睹贤良。今言孝敬则阙视膳问安之礼，语恭顺则违君父慈训之方，求风声则无爱学好道之实，观举措则有因缘诛戮之罪。宫臣正士，未尝在侧；群邪淫巧，昵近深宫。爱好者皆游手杂色，施与者并图画雕镂。在外瞻仰，已有此失；居中隐密，宁可胜计哉！宣猷禁门，不异阛阓，朝入暮出，秽声已远。臣以德音日损，频上谏书，自尔已来，纵逸尤甚。右庶子赵弘智经明行修，当今善士，臣每奏请，望数召进，与之谈论，庶广徽猷。令旨反有猜嫌，谓臣妄相推引。从善如流，尚恐不逮；饰非拒谏，必招败损。方崇闭塞之源，不慕钦明之术，虽抱睿哲之资，终罹罔念之咎。古人云：“苦药利病，苦言利行。”伏惟居安思危，日慎一日。
书入，承乾不纳，乃遣刺客将加屠害。俄属宫废，玄素随例除史。十八年，起授潮州刺史，转邓州刺史。永徽中，以年老致仕。龙朔三年，加授银青光禄大夫。麟德元年卒。
史臣曰：伏伽上疏于高祖，玄素进言于太宗，从疏贱以干至尊，怀切直以明正理，可谓至难矣。既而并见抽奖，咸蒙顾遇。自非下情忠到，效匪躬之节，上听聪明，致如流之美，孰能至于此乎？《书》曰：“木从绳则正，后从谏则圣。”斯之谓矣。世长幼而聪悟，长能规谏；云起屏绝朋党，罔避骄豪。历览言行，咸有可观。而云起吐茹无方，世长终成诡诈，其不令也宜哉！方诸孙、张二子，知不迨矣。
赞曰：言为身文，感义忘身。不有忠胆，安轻逆鳞？苏、韦果俊，伽、素忠纯。悟主匡失，猗欤诤臣。“)