贼事当责兵部，奸宄当责法司，岂有天子自出榜购募者？且事缓之则自露，急之则愈匿。”英宗认为他们说得有理，遂不追究。
石亨的从子石彪镇守大同，一日派使者向朝廷报捷。使者大言捕获斩杀之多无法计算，不能全部押解回京，皆枭于林木之上。岳正取来地图，指出：某地至某地，四面皆沙漠，林木安在？来者语塞，无言以对。岳正因此对英宗言道：“今曹吉祥、石亨的权势过重，应该早早加以节制。”并请求以计策离间二人。英宗说：“你可以朕意告之。”于是，岳正来见曹吉祥，对他说：“石亨常派亲信来看望您，并不是真的关心您，而是来监视您的。”因而劝曹吉祥最好辞去兵权，岳正又来到石亨处，以皇帝的口吻劝他自我收敛，并直言这是皇上命我转告你二人的。因岳正太过偏执、率真，曹、石二人一下子便看出了破绽，一齐向英宗哭诉，免冠请死，英宗十分尴尬，只得好言安慰二人，当面斥责岳正。
这时，正遇承天门遭灾，英宗震惊，不知所措，命岳正草诏罪已。岳正借机历陈弊政，内有：“敬事天神，有未尽蓠？祖宗成宪，有不遵蓠？善恶不分，而用舍乖蓠？曲直不辨，而刑狱冤蓠？征调多方，而军旅劳蓠？赏无度，而府库虚蓠？请谒不息，而官爵滥蓠？贿赂公行，而政事废蓠？朋奸欺罔，而附权势蓠？群吏弄法，而擅威福蓠？征敛徭役之法太重，而闾阎田里靡宁蓠？谗谄奔竞之徒痈进，而忠言正士不用蓠？抑有司茸酷暴，贪冒无厌，而致军民不得其所蓠？此皆伤和致灾之由，而朕有所未明也。今朕省愆思咎，怵惕是存。尔群臣休戚惟均，其洗心改过，无蹈前非。当行者，直言无隐。”文词极为诚恳率直，天下传诵。而石亨、曹吉祥则到处散布流言，说岳正为了标榜自已，以忠直屡次毁谤大臣。英宗见石、曹两人势力强盛，岳正又实在无能，只得罢去岳正的相职，贬为钦州同知，岳正任相仅二十八天。
在赴钦州途中，他因顺路去家乡探望了老母十余天，陈汝言就上奏说，他在贬降外任途中擅自耽搁，以前还强占过土地等罪行。岳正遂又被逮捕入狱，杖责一百后流放肃州。岳正行至涿州驿舍时，因双手被拷得太紧，几乎气绝身亡，多亏涿州人杨四用酒灌醉了看守他的公差，松开了他的械具，并厚金贿赂公差，请他们一路多加关照，岳正才得以平安到达肃州。
石亨、曹吉祥先后被杀后，英宗对李贤说：“岳正固尝言之。”李贤说：“岳正有老母，得放归田里，幸甚。”于是，岳正被允许放归故里为民。宪宗即位，御史吕洪等请恢复岳正的名誉