就连明武宗的谱系也不绝。这样陛下对兴献王还可以改正父子之称号，不断绝兴献王天生的大恩；对于国母的欢迎，也能改正为对天子的母亲应有的礼仪。假如再对昭圣太后、武宗皇后能用正确的方式对待，尽心中的诚意来侍奉，那么尊敬尊贵的人，亲爱亲近的人，这两条就都没有违误了。”
世宗升用霍韬为礼部右侍郎，霍韬极力辞让，并且推荐康海、王九思、李梦阳、魏校、颜木、王廷陈、何塘替换自己，世宗不允许，他两次推辞，才得到允准。大礼议定，世宗破格任命他为礼部尚书，主管詹事府的事务，霍韬却上书说翰林院编书升官、日讲荫子以及巡抚子弟荫封为武官的不恰当，然后说自己虽然不能挽救这些错失，但不愿跟随大流。并且言称给事中陈洗受了冤屈，推荐国子监学生陈云章有才干，可以任用做官。
世宗颁诏称赞了他，但不许他推让，霍韬又上书说：“如今持不同政见的人们认为陛下只是想尊崇自己的父王，就拿官职、爵位来诱引自己的臣下，我们两三个人也只是苟且贪图高官显爵，所以迎合了陛下的心思。我曾经慷慨地对自己发过誓：“如果“大礼”最后议定下来，我决不接受加官，让天下人和后代人看到讨论“大礼”的大臣并不是图谋私利的官员。如果让人们怀疑讨论“大礼”的大臣是图谋私利的官员，那么由这些人议定的‘大礼’即使正确，大家也还是认为这是不正确的，怎么才能使人信服呢？”因此他坚持辞让不肯就职，世宗还是不允许，经再三推辞。世宗最后同意了他。
霍韬，先后推荐过王守仁、王琼等人，世宗都采纳了他的意见，又曾因为灾异的发生上书陈述十多条革除弊政的意见，大多经讨论被实施。张璁、桂萼被免除职务时，霍韬上书说谏官陆粲等人是受杨一清指使的。他两次上书猛烈攻击一清，结果一清被削职，而张璁、桂萼被召了回来。世宗听取夏言的建议，将分开来祭祀天和地，修建两座郊祀台，霍韬极力反对，世宗不高兴了，批评他蒙骗君上，自以为是。
夏言也上书替自己辩护，猛力抨击霍韬，霍韬一贯注意保持以前的印象，以便自我施展，但看到世宗生了气，就不敢辩解了，却送给夏言一封信，把他痛痛地抨击了一番，又把那封信抄录一份送交法司。夏言恼了，上书对世宗讲了这件事，并且揭发了霍韬目无君主的七条罪行，连带霍韬的来信一起交了上去。世宗大为恼火，批评霍韬诽谤、嘲笑君上，心术不正，丑化好人，就把他关进了都察院的监狱。霍韬自己从狱中上书哀求宽恕，张璁也两次上书救他，世宗都不听