鞑靼军因此远徙，不敢再在河套居住。内地忧患渐渐平息，余子俊就全力兴建工程。东起清水营，西抵花马池，连绵一千七百七十里，凿崖筑墙，又在其下挖濠沟，一直连绵不绝，每隔二三里建置瞭望台、崖栅以便巡视警戒。又在崖栅空处筑矮墙，横一斜二如箕状，用来瞭望和避箭。总共建筑城堡十一个、边墩十五个、小墩七十八个、崖栅八百一十九个，动用士兵四万人，不到三个月就完工了，墙内的土地全部分给军队屯垦，一年收获粮食六万石有余。
余子俊向朝廷一一禀报工程之事，因为母亲年老恳求回乡，朝廷安慰挽留余子俊，没有批准余子俊返乡的请求。当初，绥德州是延绥镇的地方官署所在地，所辖米脂县、吴堡县都在镇外。鞑靼军用轻骑入境劫掠，等镇兵发觉而去追击，总是追赶不上，鞑靼军往往得利而去。自余子俊将镇迁徙到榆林，增加守卫，扩大城墙安署军队，攻守器械都俱备逐渐成为重镇，鞑靼军来掠夺次数渐渐少了，军民得以平安耕种放牧。
余子俊调抚陕西，在余子俊任西安知府时，曾因了解到居民为水质含碱发苦不能饮用而发愁的情况，他凿渠引入城西贑河的河水，解决人民的饮水问题。时间长了渠水往外漫而无法排泄，此时，余子俊主持在城西北开凿渠道排水，水渠流经汉代旧城到达渭水，对国家和百姓更加有利，号称余公渠。又在泾阳凿山引水，灌溉农田千余顷。打通到南山的道路，直达汉中，方便来往的旅客。对于毁塌破旧的学校、公署全部补修一新。上奏章免除岷州、河州、洮州三卫的戍守，南方的兵卒一万多人。更换了南北轮戍的兵卒六千多人，让他们各自戍守本土。岷州栗林羌反叛，余子俊埋伏军队突然出击，将其击败。
朝廷召还余子俊任兵部尚书。余子俊上奏章申述明确条例十项，又列立军功悬赏等级，由此朝廷内外有章可循。缅甸酋长卜刺浪企图夺取思洪发、贡章地，找借口向朝廷要求。余子俊说不能答应，朝廷谕止了卜刺浪夺地的企图。贵州巡抚陈俨等因为播州苗人暗中起事，请求调湖广、广西、四川兵五万，会同贵州兵一起围剿。余子俊说叛军在四川，而贵州请求征讨，是为邀功，上奏章止息这件事。
当初，余子俊疏论大臣陈钺击杀进贡的夷人之罪，宪宗由于太监汪直的缘故宽恕陈钺。陈钺在汪直面前多方陷害余子俊，时逢余子俊因母亲去世回家守丧，才免遭陷害。三年服丧期满后，宪宗授余子俊户部尚书，不久加封太子太保，兼任左副都御史，总督大同、宣府的军务。
当初，余子俊巡视宣府、