李遂，字邦良，丰城段潭人。弱冠之年，跟从欧阳德学习，考取进士，授官行人，历刑部郎中，时锦衣卫送来强盗十三人，李遂只用一人抵罪，其他的都被他分辨释放。确立新太子时，皇上大赦天下，李遂请求将“大礼”大案诸臣都列在赦令中，尚书聂贤恐惧不敢，于是和同官一起向都御史王廷相求问，王廷相听凭他们这样做，事情虽然没有成功，但议者赞美他。不久他调到礼部，因忤逆尚书夏言，事情遭到弹劾而下诏狱，被贬任湖州同知。
李遂三迁衢州知府，注重风化治理，闲暇时喜欢招友讲学。处州民饥，李遂聚集众人入境采矿，与推官李文进轻骑直逼矿山，饥民焚寨而逃，封矿而归。章圣皇后灵柩南运，风传取道常山，指令衢州备车轿迎送。遂三次上书谓梓宫无由取道衢州。上司震怒掷书于地，催逼急如星火，遂不动声色，后果如所料。浙中各郡县为此敛财物役百姓，怨声四起，唯独衢州上下安然。治衢任内，盗贼敛迹，财赋充裕，百姓感戴。后提升为苏、松兵备副使，又逐渐升职为广东按察使，在位期间释放囚徒八百多人。进官山东右布政使。江洋多盗贼，于是迁右佥都御史提督操江。军政严明，盗不敢发。
俺答侵犯京师，召李遂督苏州军饷，他没有向皇上谢恩，就请求关防验符用新的官衔，世宗皇帝恼怒，削去他的官籍。倭寇侵扰江北，朝廷讨论说因督漕都御史兼理巡抚，没有时间对付敌寇，请求特别设置巡抚，于是命李遂用原官身份巡抚凤阳四府。当时淮、扬三次遭受倭寇侵掠，这一年又发大水，而且天天役使人民拉大木运送到京师。李遂请求增加粮饷增加兵士，抚恤黎民节省开支，这些措施都是为了战、守作打算。
倭寇舰船数百艘犯海门，为了防止倭寇由泰州逼长天、凤阳、泗州，进犯明皇室寝陵，又为了防止倭寇由黄桥逼瓜洲、仪征，进犯南京，梗塞粮道，李遂设计逼使倭寇由富安沿海窜至庙湾，使之陷于绝地而歼之。于是，命副使刘景韶、游击丘升扼守如阜，而亲自驰兵泰州，当其要冲。乘势而来的倭寇见如阜有备，立即转攻泰州。李遂急命刘景韶、丘升出击，连战丁堰、海安、通州皆捷。
倭寇只得沿海北上，李遂喜曰：“贼无能为矣！”遂令刘景韶、丘升尾追倭寇，将其驱赶至庙湾。李遂又虑倭寇窜入淮安，星夜驰入淮安城。不久，倭寇果至，李遂督参将曹克新御之于姚家荡。此时，右通政唐顺之闻倭寇犯江北，急令总兵官卢镗拒敌于崇明，自率副总兵刘显驰援李遂，与李遂一同大败倭寇于姚家荡，倭寇退至庙湾立寨固守。与