，赵辅以功进封武靖侯。
明廷为统一将权，彻底驱逐定居于河套地区的鞑靼诸部，解除其对北边防线造成的威胁，命赵辅挂平虏将军印出师，陕西、宁夏、延绥三镇兵皆受其节制，由右都御史王越总督军务。赵辅到榆林时，鞑靼已经深入并大行抢掠，赵辅无法控制，与王越上书称鞑靼势力强大，必须调遣至少精兵十五万，否则应退到内地。言官纷纷弹劾他的罪过，宪宗命给事中郭镗前往调查，郭镗回朝后说：“贼寇于六月进入平凉、巩昌、临洮，杀掠人口牲畜。到七月时他们纵横于广阳境内。赵辅与王越到榆林时停留不进，应该严治他们弛兵玩寇的罪过。”宪宗没有采纳。
不久后，赵辅因病被召回，仍督领京营事务，言官对其极力弹劾，但宪宗不予处置，赵辅辞去武靖侯爵，请求宪宗允许其子孙世袭伯爵，获得允许，被赐予武靖伯世券，且未降封爵位，仅减去食禄二百石。言官力争，宪宗不听，然而赵辅又上疏列举自己的功劳，说减去禄米使他无法养老，赵辅更进一步认为宪宗命宦官卢永征讨南蛮，宦官黄顺、汪直征讨东北，都是莫大之功，应该交付史馆记录，兵部尚书余子俊等疏请将赵辅依法处置，宪宗始终不问罪。
赵辅因患风痹而辞去职务，自此不再出仕，他晚年疾病缠身，但仍逢迎上意，进献方书，为其子求取官职，招致时人讥讽。赵辅去世，宪宗闻讣讯，按例赐祭葬，追封他为容国公，谥号“恭肃”。
赵辅自少英俊善辩，有才华，善于词章，多结交文士，也好结交权贵、宠臣，所以虽屡遭弹劾，但终无大碍，有《平夷赋》传世。