汉高帝时，有四人年老，以上慢侮，逃匿山中，义不为汉臣，谓之四皓（东园公、绮里季、夏黄公、角里先生）。高帝不能致。及将废太子，太子迎四人至，侍从太子，须眉皓白，衣冠甚伟。高帝既见，曰：“烦公幸卒护太子。”太子由是不废。至孝武帝，又为太子立博望苑，使通宾客。晋元康元年，愍怀太子始之东宫，惠帝诏曰：“遹幼蒙，今出止东宫，虽赖师傅群贤之训，其游处左右，宜得正人能相长益者。太保卫瓘息庭，司空陇西王泰息略、太子太傅杨济息毖、太子少师裴楷息宪、太子少傅华廙各道義之門，有不肅之訓。其令五人更往来，与太子习数，备宾友也。”其时虽非官，而谓之东宫宾客，皆选文义之士，以侍储皇。其後无闻。唐显庆元年正月，以太子太傅兼侍中韩瑗、中书令来济、礼部尚书许敬宗、左仆射兼太子少师于志宁并为皇太子宾客，遂为官员，定置四人。掌调护、侍从、规谏。凡太子有宾客之事，则为上齿，盖取象於四皓焉。资位闲重，其流不杂（天宝中，贺知章自太子宾客度为道士，还乡，舍宅为观。玄宗赋诗赠别，时议荣之）。
宋至道元年建储，乃置宾客二人，以他官兼。天禧四年，参政任中正、枢副钱惟演、参政王曾并兼太子宾客，执政兼东宫官自此始。中兴後，宾客罕除。开禧三年，景宪太子立，始以执政兼宾客，後复省。“)