妃多年，对孙贵妃的本性十分清楚，但孙贵妃倒没犯过什么大错误，对胡后也是恭恭敬敬，胡后生病她总是殷勤照顾，而胡后虽然不错，毕竟未生出一男半女，确实没有尽到应尽的职责，皇帝坚决要废她，硬要阻拦不是个办法，于是张太后建议宣宗倾听几位重要辅臣的意见后再作决断。
一天，宣宗召见张辅、蹇义、夏原吉、杨士奇、杨荣，对他们说：“朕年过三十还没有一个儿子，现在幸亏孙贵妃生了儿子，自古以来都是母以子贵，只是中宫不知该怎么处置”说完，举出胡后的几件过失。杨荣早已知道宣宗的心思，于是带头表态：“凭这几件过失就可以废胡后了。”宣宗又问：“废后有先例吗”蹇义回答说：“宋仁宗曾降郭后为仙妃。”其实宣宗是明知故问，旨在提醒这几位大臣，废后古来有之。夏原吉和杨士奇始终没有说话，宣宗不满，就问他们为什么不说话，杨士奇才开口说：“臣对于皇后，就象儿子事奉父母一样，胡后就是我们的母亲，我们是她的儿子，哪有儿子议论废母的道理。”委婉地表示对废后的反对。
张辅、夏原吉也不同意废后，一直默不作声，在宣宗的再次询问下，才表态说：“这是件大事，容臣等详细议论后再答复皇上。”宣宗有些不高兴，就说：“这种事需要提交给外廷议论吗”一向顺从皇帝意旨的蹇义连忙表态说：“此事古来就有，无需外廷言论。”杨士奇反问说：“宋仁宗废郭后时，孔道辅、范仲俺率十几位大臣进谏，被贬职，史书上至今还在称赞孔、范等大臣的义举，怎么能说外廷无需议论废后之事呢”宣宗见大多数人都不同意废后，只好暂停这个话题。
从宣宗那一退出来，杨荣就对夏原吉和杨士奇说：“皇上早就想废后了，不是我们臣子所能阻止的。”言外之意是说，夏、杨他们不识时务。杨士奇反驳他说：“皇上今天列举的胡后过失，根本不能成为废她的理由。”这句话提醒了杨荣，回到家中，他绞尽脑汁，想了一夜，才列举出胡后的一大堆所谓过失。第二天早上，宣宗又在西角门召见这几位大臣，问他们议论得怎么样了杨荣连忙把他列举出的二十几条胡后的过失奉上，哪知宣宗才看了一两条，便勃然大怒：“胡后何曾做过这些事宫中难道没有神灵监视吗”杨荣拍马屁过了头，懊恼不己，他不知宣宗尽管想换皇后，但对胡后并不是没有一点感情，再说要是胡后真的做了那么多坏事，岂不是皇上和皇太后的失职宣宗狠狠地盯了杨荣一眼，便回过头来问杨士奇有何话说，杨士奇回答说：“汉光武帝废后以后，曾在以后的诏书上说：废后只是异常之