于兴建大享殿，不需要写敕令文稿的话泄露给了高忠，因为这两件事，世宗认定他们互相勾结。
此外，夏言还僭制在西苑乘轿，世宗让到西苑值班的大臣用香叶巾束发，用皮绵做鞋子，夏言又认为这不是礼制规定的大臣服装，不肯接受。世宗不上朝时，夏言就不去内阁，而是在家办公，世宗积累了这几桩不满，想要罢他的官，因而严嵩得到了排挤他的机会。严嵩和夏言都是江西人，夏言入内阁时，推荐严嵩接替自己担任礼部尚书，把他当作门客来对待。严嵩表面上对夏言恭敬，暗中却怀恨在心，夏言失宠后，严嵩一边用谄言媚语逢迎世宗，一边与陶仲文合谋中伤、取代夏言的方法。夏言得知此事，便指使御史多次弹劾严嵩，世宗却不听，严嵩则向世宗哭诉夏言凌辱自己的情状，并揭发夏言的过错，世宗果然被激怒。
世宗写敕书给礼部，历数夏言的罪过，夏言惶恐不安，上书认错，并乞求告老还乡。八天后的七月初一，恰好发生日食，世宗认为这是下级欺慢上级的征兆，便下令将夏言革职闲住，并承认自己的三种过失，布告天下。当天，御史乔佑、给事中沈良才等人上书弹劾夏言，并因之前言官未能纠察夏言的行为，请求将自己罢职。世宗贬谪、降职了十三个言官，其中高时因曾弹劾郭勋，单单被重贬到遥远的边地，严嵩取代夏言，步入内阁。
夏言久居高位，生活奢侈，交游广泛，罢官之后，很久没有被起复，地方官待他也稍稍冷淡了。夏言心里闷闷不乐，每当元旦和世宗生日，他都会上表称贺，自称“草土臣”，世宗也渐渐怜悯他，恢复了他尚书、大学士的官衔。
世宗微微觉察到严嵩的贪婪和放纵，就召夏言回朝，夏言抵京后，世宗恢复了他的少师等全部官职，也加封严嵩为少师，像是与夏言并重的样子。夏言一回来，就凌驾在严嵩之上，批示公文一概不征求严嵩的意见，并大肆罢斥、放逐严嵩提拔任用的人。严嵩不敢直接与他作对，但对他恨之入骨，当时的士大夫正怨恨严嵩的贪婪狠毒，认为夏言能压制严嵩，因此深感痛快。然而夏言重回相位后，一心排除异己，被他罢官、治罪的多达十余人，其中包括唐龙、王暐、王用宾、何鳌等，而这些处罚不尽公允，因此朝中的士大夫开始畏惧夏言。
陕西总督曾铣请求出兵收复河套，夏言性格慷慨激昂，有志于建功立业，便支持此事。夏言继室的父亲苏纲与曾铣交好，极力向夏言称赞他，夏言认为依靠曾铣此事能成，就秘密推荐他，认为大臣中间没有比他更忠诚的了。世宗因为他的这句话，怀疑夏