他因为年老体衰请求辞官回家，而朝廷却不同意，命令他率领郑家栋回关中，留下贺人龙、李国奇继续镇压起义军。
张献忠逃到兴山、归州一带，在山中潜伏下来，陕西、湖广的军队都聚集在夔州，只要将领们齐心协力在深山老林中搜捕，这一千多起义军残部就可以被全部歼灭。可是，郑崇俭离开后不久，贺人龙的队伍也从开县哗变西归，湖广的部队在土地岭战败，四川从此大乱起来。杨嗣昌于是说郑崇俭撤兵太早，导致贼兵猖獗，崇祯帝起初因为郑崇俭没有管好自己部下的军队就已经不高兴，这时就下令罢了他的官，让丁启睿去接替他，同时，又怀疑他是借病推托，派巡按去核实情况。第二年春天，张献忠打下襄阳，杨嗣昌死了，失去重臣的崇祯帝更加痛恨郑崇俭，没有给杨嗣昌充当犄角，助兵平寇，就把他逮捕入狱，责备他“唆使士兵擅自返回”，“无视军规”，不等到秋后，就把郑崇俭斩首示众。
崇祯帝从即位以来先后杀过七个总督，分别是郑崇俭、袁崇焕、刘策、杨一鹏、熊文灿、范志完、赵光抃。崇祯帝因为起义军势力的日益壮大而气愤，运用法律更加苛刻，功罪不能相互抵消，封疆大事也一天天坏败，直至最后亡国。
弘光帝在位时，给事中李清上书说：“郑崇俭没有丧失过一座城池或一支部队，却因为他人巧言卸责被判处死刑。群臣背地里都知道他的冤屈，却没有人敢出来诉说，对此我很是痛心。”郑崇俭的冤屈才得到昭雪。