，岳正官复内侍书之职，参与纂修《英宗实录》。当初岳正获罪时，家里财产，尽赐季铎。季铎得旨后，独占岳门，检括净尽，见被逐出的岳家人一一搜检，使岳氏一门受尽奇耻大辱。岳正还朝，正值季铎获罪。宪宗说：“季铎的家产，尽是岳正之物，可悉取还之”。岳正便仿效季铎的办法，将其搜括一空。岳正还朝，自以为会被重用，而李贤原只想任他为南京国子监祭酒，岳正十分不满，后因妒忌他的人，伪造了岳正弹劾李贤的奏章，引起了李贤的反感，连祭酒也没让他做。
岳正被外任为兴化知府，在任上他兴修水利，灌溉良田数千顷，并节省开支，整顿库存，准备大干一场，有所兴革，谁料却引起了当地士大夫们的不满，纷纷起而攻击、诽谤他。岳正越发感到仕途险恶。岳正上请致仕，回归乡里，五年后去世，年仅55岁，无子，大学士李东阳、御史李经为其女婿。
岳正被流放戍所时，英宗常思念起他，曾说：“岳正倒好，只是大胆。”岳正闻言，作《自赞小像》，其中有：“岳正倒好，只是大胆，惟帝念哉，必当有感，如或赦汝，再敢不敢。”最后一句为“臣尝闻古人之言，盖将之死而靡憾也。”可见其自信如此。
岳正，一生无书不读，曾说“天下事无不可为。”他以清高自许，俯视一世，其诗文高简峻拔，直追古人，字法精邃，大书尤伟，旁及雕绘镌刻，皆至臻其妙。常戏画葡萄，遂称绝品，著有《类博稿》十卷。