谒显陵以后，严嵩坚持请求让百官上表祝贺，夏言则提议等回京以后再上贺表，世宗赞同了严嵩的意见，从此渐渐不喜欢夏言。世宗巡幸大峪山，夏言前去伴驾时迟到了，世宗大怒，斥责夏言怠慢无礼，批评他上机密奏疏时不使用御赐的银章，并追索此前发给夏言的手谕。夏言惶恐地上书认罪，恳求不要追索银章和手谕，言辞很哀伤，世宗余怒未消，怀疑他把手谕毁坏了，命令礼部催讨，并剥夺他少师的勋位，让他以少保、尚书、大学士的身份致仕。于是，夏言把四百多份手谕并银章一并缴上，几天后，世宗怒气消了，准许夏言复职办公，夏言上书感谢，疏中称自己“一心做孤臣，才被众人怨恨”，结果再次被责备。
雷电击坏了奉天殿，世宗召见夏言及顾鼎臣，而夏言迟到了，被世宗训斥了一番，过后世宗归还了之前追讨出来的银章和墨宝。河间、江淮崇明一带相继传来捷报，世宗恢复了夏言少师、太子太师的官衔，升他为吏部尚书和华盖殿大学士，让他兼领大学士俸禄。
昭圣太后逝世，夏言在回答太子丧服礼制时，奏疏里有错字，被世宗严厉批评，夏言认错，同时请求回乡治病，世宗大怒，第二次命令他致仕。夏言惶恐之下，进呈了十四篇有关边境防务的策论，并在离京前前往西苑磕头谢恩。当时，夏言撰写的青词等文章最符合世宗的心意，而另一位阁臣翟銮并非世宗急着要用的人，于是世宗谅解了夏言，让他回私宅养病。
郭勋与夏言不和，结交霍韬一同对抗夏言，郭勋接连被言官弹劾，世宗准许他申辩，郭勋却不肯认错，触怒了世宗。这时，夏言的知己、给事中高时揭发了十几件郭勋贪赃枉法的罪行，世宗把郭勋关进了诏狱。顾鼎臣、霍韬相继去世，世宗恢复了夏言少傅、太子太师、礼部尚书、武英殿大学士的官职，让他等病愈入阁办事。虽然夏言还在病假中，但内阁的事务多由他裁定，郭勋的案件，就是按他的授意办理的。夏言任一品官满九年，世宗褒赞、赏赐他，恢复了他的全部官阶，在礼部为他举办宴会。这个时候，世宗虽然优待、礼遇夏言，对他的宠信已经不如当初了。
慈庆、慈宁两宫夫人去世后，郭勋曾经请求把其中一个给太子居住，夏言认为不合适，符合世宗的心意。到了这时，夏言又改变了主意，令世宗不快，郭勋下狱后，世宗曾下令释放他，夏言却又假传圣旨说不需要遵从这条敕令，且千方百计罗织郭勋的罪名，令世宗怀疑之前言官也是受到他的指使才弹劾郭勋。夏言与宦官高忠交好，高忠曾代夏言进玉器祝寿，这年，夏言又将世宗关