折叠秦朝太尉始于秦朝时期。秦王嬴政登基后,改设三公九卿。最高官职即为丞相和太尉,分别为辅政及治军领兵。但秦朝并没有人担任太尉,也就是形同虚设。原因在于秦当时为中央集权制,军政经合为始皇帝一体,所以若将兵权拱手送于他人之手,秦王政的统治会受到严重威胁。
折叠西汉到西汉时期中央和地方各级官吏的名称基本沿用了秦朝的制度。但与秦朝不同的是,在皇帝之下设立了三套平行的官僚体系,分别为丞相率领的外朝官、大将军率领的内朝官、以及处理皇帝与皇族私人事务的宫廷官。其中。其中外朝官为西汉中央政府的最高行政权力由丞相和太尉分掌,其下分设九卿、列卿等。但由于官制名目甚多也有一定的分权目的,所以太尉的实权性时时不定。
折叠东汉东汉时期,以太尉、司徒司空为三公,太尉管军事,司徒管民政,司空管工程,三公各自行使所负责事项的监察权 ,分别开府,置僚佐。但东汉实权已转移到尚书台,太尉实为丞相﹐与西汉早期掌武事的太尉名同而实异。可见于古代,带兵打仗的任务并不好当,或立或废并不取决于军事修养水平的高低,而是政治决策与改革的出头鸟,治国则先治军。
太尉作为最高武职,除了评定全国武官的功绩高下、以为升降的依据外,就是作为皇帝的最高军事顾问。汉朝军队由各将军、校尉统领,太尉不能直接指挥军队。例如周勃平定诸吕之乱时,身为太尉,却不能进入上将军吕产所指挥的北军,只得诈称帝命方进入北军营地并取得指挥权。
折叠魏晋南北朝按魏武帝曹操废三公制,自任丞相。其子曹丕即位时短暂恢复,拜贾诩为太尉。后又撤销。曹睿时,青龙三年(235年)大将军司马懿转任太尉,驻兵雍凉。
折叠隋唐至元朝隋唐以来,决策权转移至中书门下,而行政权在尚书六部手中。三师(太师、太傅、太保)、三公(太尉、司徒、司空)品级虽高,无实际职事,一般只是作为加官,尤以唐后期各种检校官为甚。
宋初三师三公只是作为升迁资序所用,并无执掌。太尉旧在太保之下,自五代以来则提升至次于太师而在太傅之上。徽宗年间重定武官制度后,太尉成为武阶官之首,而司徒司空则被三少所代替。
元代三公仅作为加衔,后期也是加授极滥。
明清以后以原三师为三公,不设太尉。
另外,在某些礼仪中会出现以其他官员临时充当太尉等职位的现象。如宋真宗天禧元年宣读天书之礼,分别以向敏中摄太尉,王曾摄司徒,张知白摄司空。诸如此类都是礼毕即罢,并非真行除拜。