势之下，周太后妥协，同意让孝庄钱皇后与英宗合葬裕陵，神主附太庙。
天空中出现彗星，当时的人认为这是有人行为不当，而上天要降不祥于人间，言官借此接连弹劾姚夔，姚夔请求辞官回乡，宪宗不允。宪宗相信番僧，有的被封法王、佛子，服装用度僭越无度，一时奸人都羡慕他们，争相做其徒弟，姚夔向宪宗力谏，这种势头稍减。
姚夔任吏部尚书期间，注意人才的提拔和任用，也不避亲戚故旧。当初，王翱主持吏部，对南方人有所压制，所以北方人很喜欢他，到姚夔时，喜欢帮助南方人，只要是被姚夔评定或推荐的人多能称职。
姚夔病重，卧床不起，临终时，他对儿子姚壁说：“我受国之厚恩，不能做到谋求回报，死后勿按惯例请求厚葬重祭，以加重我的过错。”姚夔在京师长安里的家中病逝，享年六十岁，宪宗听闻噩耗，深为悼痛，赐祭葬，追赠他为荣禄大夫、少保，谥号“文敏”。
姚夔，在朝三十余年，老成干练，受英宗、代宗、宪宗三朝器重，先掌礼部、再掌吏部，皆有所作为，忧国之心老而弥笃，堪称人臣表率，每当朝议不定时，他总能一言立决，为朝局的稳固起到了重要作用，著有《姚文敏集》八卷。