开皇七年，刺史韦艺固荐之，不得已而应命。吏部尚书卢恺一见重之，擢授承奉郎，俄迁监察御史。后属陈平，奉诏安抚泉、括等十州，以衔命称旨，赐物百段，米百石，衣一袭，奴婢七口。迁秦州总管录事参军。尝因朝集，时左仆射高颎定考课，彦谦谓颎曰：“书称三载考绩，黜陟幽明，唐、虞以降，代有其法。黜陟合理，褒贬无亏，便是进必得贤，退皆不肖，如或舛谬，法乃虚设。比见诸州考校，执见不同，进退多少，参差不类。况复爱憎肆意，致乖平坦，清介孤直，未必高名，卑谄巧官，翻居上等，直为真伪混淆，是非瞀乱。宰贵既不精练，斟酌取舍，曾经驱使者，多以蒙识获成，未历台省者，皆为不知被退。又四方悬远，难可详悉，唯量准人数，半破半成。徒计官员之少多，莫顾善恶之众寡，欲求允当，其道无由。明公鉴达幽微，平心遇物，今所考校，必无阿枉，脱有前件数事，未审何以裁之？唯愿远布耳目，精加采访，褒秋毫之善，贬纤介之恶，非直有光至治，亦足标奖贤能。”词气侃然，观者属目。颎为之动容，深见嗟赏。因历问河西、陇右官人景行，彦谦对之如响，颎顾谓诸州总管、刺史曰：“与公言，不如独与秦州考使语。”后数日，颎言于上，上弗能用。以秩满，迁长葛令，甚有惠化，百姓号为慈父。仁寿中，上令持节使者巡行州县，察长吏能不，以彦谦为天下第一，超授鄀州司马。吏民号哭相谓曰：“房明府今去，吾属何用生为！”其后百姓思之，立碑颂德。鄀州久无刺史，州务皆归彦谦，名有异政。
内史侍郎薛道衡，一代文宗，位望清显，所与交结，皆海内名贤。重彦谦为人，深加友敬，及兼襄州总管，辞翰往来，交错道路。炀帝嗣位，道衡转牧番州，路经彦谦所，留连数日，屑涕而别。黄门侍郎张衡，亦与彦谦相善。于时帝营东都，穷极侈丽，天下失望。又汉王构逆，罹罪者多，彦谦见衡当途而不能匡救，以书谕之曰：
窃闻赏者所以劝善，刑者所以惩恶，故疏贱之人，有善必赏，尊贵之戚，犯恶必刑，未有罚则避亲，赏则遗贱者也。今诸州刺史，受委宰牧，善恶之间，上达本朝，慑惮宪章，不敢怠慢。国家祗承灵命，作民父母，刑赏曲直，升闻于天，夤畏照临，亦宜谨肃。故文王云：“我其夙夜，畏天之威。”以此而论，虽州国有殊，高下悬邈，然忧民慎法，其理一也。至如并州畔逆，须有甄明。若杨谅实以诏命不通，虑宗社危逼，征兵聚众，非为干纪，则当原其本情，议其刑罚，上副圣主友于之意，下晓愚民疑惑之心；若审知内外无虞，嗣后纂统，而好乱乐祸，妄有觊觎，则管、蔡之诛，当在于谅，同恶相济，无所逃罪，枭悬孥戮，国有常刑。其间乃有情非协同，力不自固，或被拥逼，沦陷凶威，遂使籍没流移，恐为冤滥。恢恢天网，岂其然乎？罪疑从轻，斯义安在？昔叔向置鬻狱之死，晋国所嘉，释之断犯跸之刑，汉文称善。羊舌宁不爱弟，廷尉非苟违君，但以执法无私，不容轻重。且圣人大宝，是曰神器，苟非天命，不可妄得。故蚩尤、项籍之骁勇，伊尹、霍光之权势，李老、孔丘之才智，吕望、孙武之兵术，吴、楚连磐石之据，产、禄承母后之基，不应历运之兆，终无帝王之位。况乎蕞尔一隅，蜂扇蚁聚，杨谅之愚鄙，群小之凶慝，而欲凭陵畿甸，觊幸非望者哉！开辟以降，书契云及，帝皇之迹，可得而详。自非积德累仁，丰功厚利，孰能道洽幽显，义感灵祇！是以古之哲王，昧旦丕显，履冰在念，御朽竞怀。逮叔世骄荒，曾无戒惧，肆于民上，聘嗜奔欲，不可具载，请略陈之。
襄者齐、陈二国，并居大位，自谓与天地合德，日月齐明，罔念忧虞，不恤刑政。近臣怀宠，称善而隐恶，史官曲笔，掩瑕而录美。是以民庶呼嗟，终闭塞于视听，公卿虚誉，日敷陈于左右。法网严密，刑辟日多，徭役烦兴，老幼疲苦。昔郑有子产，齐有晏婴，楚有叔敖，晋有士会。凡此小国，尚足名臣，齐、陈之疆，岂无良佐？但以执政壅蔽，怀私徇躯，忘国忧家，外同内忌。设有正直之士，才堪干持，于己非宜，即加摈压；倘遇谄佞之辈，行多秽匿，于我有益，遂蒙荐举。以此求贤，何从而至！夫贤材者，非尚膂力，岂系文华，唯须正身负载，确乎不动。譬栋之处屋，如骨之在身，所谓栋梁骨鲠之材也。齐、陈不任骨鲠，信近谗谀，天高听卑，监其淫僻，故总收神器，归我大隋。向使二国祗敬上玄，惠恤鳏寡，委任方直，斥远浮华，卑菲为心，恻隐为务，河朔强富，江湖险隔，各保其业，民不思乱，泰山之固，弗可动也。然而寝卧积薪，宴安鸩毒，遂使禾黍生庙，雾露沾衣，吊影抚心，何嗟及矣！故诗云：“殷之未丧师，克配上帝。宜鉴于殷，骏命不易。”万机之事，何者不须熟虑哉！
伏惟皇帝望云就日，仁孝夙彰，锡社分珪，大成规矩。及总统淮海，盛德日新，当璧之符，遐迩佥属。赞历甫尔，宽仁已布，率土苍生，翘足而喜。并州之乱，变起仓卒，职由杨谅诡惑，诖误吏民，非有构怨本朝，弃德从贼者也。而有司将帅，称其愿反，非止诬陷良善，亦恐大点皇猷。足下宿当重寄，早预心膂，粤自籓邸，柱石见知。方当书名竹帛，传芳万古，稷、契、伊、吕，彼独何人？既属明时，须存謇谔，立当世之大诫，作将来之宪范。岂容曲顺人主，以爱亏刑，又使胁从之徒，横贻罪谴？忝蒙眷遇，辄写微诚，野人愚瞽，不知忌讳。
衡得书叹息，而不敢奏闻。
彦谦知王纲不振，遂去官隐居不仕，将结构蒙山之下，以求其志。会置司隶官，盛选天下知名之士。朝廷以彦谦公方宿著，时望所归，征授司隶刺史。彦谦亦慨然有澄清天下之志，凡所荐举，皆人伦表式。其有弹射，当之者曾无怨言。司隶别驾刘灹，陵上侮下，讦以为直，刺史惮之，皆为之拜。唯彦谦执志不挠，亢礼长揖，有识嘉之。
灹亦不敢为恨。大业九年，从驾渡辽，监扶余道军。其后隋政渐乱，朝廷靡然，莫不变节。彦谦直道守常，介然孤立，颇为执政者之所嫉，出为泾阳令。未几，终于官，时年六十九。
彦谦居家，每子侄定省，常为讲说督勉之，亹癖不倦。家有旧业，资产素殷，又前后居官，所得俸禄，皆以周恤亲友，家无余财，车服器用，务存素俭。自少及长，一言一行，未尝涉私，虽致屡空，怡然自得。尝从容独笑，顾谓其子玄龄曰：“人皆因禄富，我独以官贫。所遗子孙，在于清白耳。”所有文笔，恢廓闲雅，有古人之深致。又善草隶，人有得其尺牍者，皆宝玩之。太原王邵，北海高构，蓚县李纲，河东柳彧、薛孺，皆一时知名雅澹之士，彦谦并与为友。虽冠盖成列，而门无杂宾。体资文雅，深达政务，有识者咸以远大许之。初，开皇中，平陈之后，天下一统，论者咸云将致太平。彦谦私谓所亲赵郡李少通曰：“主上性多忌克，不纳谏争。太子卑弱，诸王擅威，在朝唯行苛酷之政，未施弘大之体。天下虽安，方忧危乱。”少通初谓不然，及仁寿、大业之际，其言皆验。大唐驭宇，追赠徐州都督、临淄县公。谥曰定。
史臣曰：大厦云构，非一木之枝；帝王之功，非一士之略。长短殊用，大小异宜，咨咨棁栋梁，莫可弃也。李谔等或文能遵义，或才足干时，识用显于当年，故事留于台阁。参之有隋多士，取其开物成务，皆廊庙之榱桷，亦北辰之众星也。“)