早在夏朝时就设有三公九卿。如《礼记》中记载：“夏后氏官百，天子有三公、九卿、二十七大夫、八十一元士。”不过，历代对于三公九卿具体指代哪些官职存在很大的争议。
一般来说，将最尊贵的三个官职合称为三公。《尚书大传》《礼记》等书以司马、司徒、司空为三公，《周礼》则以太傅、太师、太保为三公。到秦代并没有设立三公，但置左右丞相，又设太尉管理军事、御史大夫为丞相副手。自汉武帝起，因受经学影响，丞相、御史大夫和太尉也被称为三公。
九卿，一般为列卿或众卿的意思，并不是指代官职，也不一定是九个人。汉武帝以后由于受儒家思想的影响，人们就将一些高官附会成古代九卿。如《续汉书》将太常、光禄勋、卫尉、太仆、廷尉、大鸿胪、宗正、大司农、少府定为九卿；隋唐九卿则为太常、光禄、卫尉、宗正、太仆、大理、鸿胪、司农、太府。这时的九卿多为虚衔或加官、赠官，并没有实际的权力。