魏黄初始置都督诸州军事。後周改都督诸军事为总管。武帝时，以王谦为益州总管，总管之名始此。隋文帝以并、益、荆、杨四州置大总管，其馀总管府置於诸州，列为上、中、下三等，加使持节。炀帝改帅都督为旅帅。唐诸州复有总管，亦加使持节。武德初，边要之地亦置。
宋朝马步军都总管以节度使充，副总管以观察以下充，有止一州者，有数州为一路者，有带两路、三路者。或文臣知州，则管句军马事。旧相重臣亦为都总管（有禁兵驻泊其地者，冠以驻泊之名）。咸平发三路都总管。景德诏镇、定两路并为一路，诸路并去行营之名，止为驻泊总管。庆历三年，诏：“近分陕西缘边为四路，各置经略安抚、招讨等使。自今路分总管、钤辖以上，许与都总管司同议军事。路分都监以下，并听都总管等节制，违者以军法论。”七年，析河北四路，各置都总管一员，如无，止以安抚使总制诸路。八年，诸州部署并改兵马总管、副总管（又《职略》：总管旧曰部署，因庙讳改焉。又《续会要》云：“《两朝国史志》，有兵为总管、副总管，凡武臣以诸司使以上充，文臣以两省五品以上充。一州即为兵马总管，一路即为步军总管、副总管。”）。建炎元年，李纲言：“守备当於沿河、沿淮、沿江置帅府要郡以控扼。其帅府，文臣一员带安抚使、马步军都总管，武臣一员充副总管。改路分为副总管，路钤辖为副钤辖，州钤辖为副都监。遇朝廷起兵，则副总管为帅，副钤辖、都监各以兵从出，听其节制，正官愿行者听。”绍兴二年，诏郡守臣罢带兵职，诸路副总管可依旧改充路分钤辖。五年，密院言东南多事，合要近上兵官总领军政，乃诏两浙、江南、荆湖、福建、广东可依三路置总管於帅府。七年，淮东置总管。十二年，诸路并置州总管一员。“)