监督各将领讨伐胡虏以及伯固等。敌人都败退逃跑，乔玄在这里任职三年，边境安定无事。灵帝初期，调回乔玄任命为河南尹，改任少府、大鸿胪。
乔玄与南阳太守陈球有怨仇，当他在司空司徒的位置上的时候，反而推荐陈球担任廷尉，乔玄因为国家力量薄弱，并且揣度自己的能力没有用武之地，于是托病上奏，把各种灾害归咎在自己身上，于是被免职。一年多后任命他为尚书令，当时太中大夫盖升曾经和皇帝有密切关系，愿来担任南阳太守，贪污好几亿，乔玄上奏罢免盖升并关押起来，没收他的财产贿赂所得，皇帝不同意，反而升迁盖升为侍中，乔玄托病辞职，又任命为光禄大夫，过了几个月，再次因为疾病免职，改任太中大夫，在家中养病。
乔玄的小儿子十岁的时候，独自外出游玩，突然有三个人拿着棍棒把他劫持了，进入乔玄府里楼阁上，让乔玄拿钱赎人，乔玄却不答应，不一会，司隶校尉阳球率领河南尹、洛阳北部尉曹操围住了乔府。阳球等人担心劫匪杀掉乔玄的儿子，没有下令追赶劫匪，乔玄大声说“犯罪的人没有人性，我怎么能因为一个儿子的性命而纵容了国家的罪犯“催促命令追击，于是攻击劫匪，乔玄的儿子也死了，乔玄于是面见皇帝谢罪，请求皇帝向天下下令：“凡是有劫持人质的，一律格杀，不得拿财宝赎回人质，让罪犯有利可图”，于是诏书发布了这个命令，起初从汉安帝以后，法律渐渐失去效力，京城里面劫持人质的，不管对方是不是富贵官宦人家，从乔玄这次事件以后，就没有这种事再发生。
起初曹操地位很低的时候，没有人知道他，他曾经去拜见乔玄，乔玄见到他感到惊异，对他说：“如今天下将要战乱，能够安定天下的岂不是你吗？”曹操常常感叹乔玄是他的知己，后来曹操每次经过乔玄的坟墓，都感到凄怆并祭祀他，并亲自为他撰文说：“原任太尉乔公，品德高尚，仁爱宽容，国家感念您的训诫，读书人缅怀您的教诲，您的在天之灵，我们缅怀不止，我从年轻时候，就去过您的府上，那时以顽劣的品质，接受您的会见，您对我褒奖称赞，就像孔子称赞自己不如颜渊，李生赞叹贾复，士为知己者死，我一直记着这句话，又想起我们的誓约：‘我死之后，你如果经从这里经过，如果不拿一斗酒一只鸡来祭奠我，车马过去三步以后，你得肚子疼不要怨我’，虽然是当时开玩笑的话，如果不是关系密切，怎么会说出来这样的话，怀念旧事，想起来就感觉凄怆，如今我奉命东征，驻扎在乡里，向北望着土地，心思在您的陵墓上，所以用薄礼祭奠您，愿