亦数次受到武帝谴责。公孙贺害怕自己不能担此重任，一但有所纰漏恐将祸延于身，不肯受丞相的金印紫绶，见武帝生气后才不得已拜受。公孙贺升任后，太仆之位空缺，武帝又将自己的外甥、时为侍中的公孙贺与卫君孺之子公孙敬声擢升为太仆。
公孙敬声凭借着母亲卫君孺是皇后的姐姐，行事骄奢不守法纪，居九卿太仆之高位，擅用北军军饷一千九百万钱，事情败露之后被捕下狱。这时，汉武帝下诏欲抓捕的阳陵人朱安世，却迟迟未能归案，公孙贺便请命此差以赎公孙敬声的罪过，武帝答应此请。后来，朱安世果然被捕成功，却在狱中上书诬告公孙敬声与阳石公主私通，以及行巫蛊诅咒天子之事。公孙贺被抓捕，并冠以兴利弟子宾客不顾黎民死活等多条罪名，父子双双死于狱中。