中打猎，曾经在一天夜里，李广带着一名骑兵外出，跟别人在田间饮酒。回来到了霸陵亭，霸陵尉喝醉了，呵斥阻止李广。李广的从骑说：“这是前任李将军。”霸陵尉说：“现任将军尚且不能夜间通过，何况是前任的呢！”就让李广住宿在霸陵亭下。
不多久，匈奴入侵辽西，杀太守，打败韩将军，韩将军转移到右北平，死了。于是，皇帝任命李广为右北平太守，李广请求霸陵尉与他一起赴任，霸陵尉来到后李广就杀了他，然后上书自行谢罪，李广在右北平郡，匈奴都称呼他为“飞将军”，躲着李广，数年不敢入侵。郎中令石建去世了，皇上征召李广接替石建作郎中令。
李广又调任为将军，跟随大将军卫青的军队从定襄郡出击匈奴，各将领多有杀敌俘敌达到标准因功封侯的，而李广的部队没有功劳。李广以郎中令的身份率领四千骑兵从右北平出发，博望侯张骞率领一万骑兵和李广同行，分两路走。走了大约几百里，匈奴左贤王带领四万骑兵包围李广，李广的士兵都很恐惧，李广就派他的儿子李敢快马冲击敌人。
李敢独自带了几十名骑兵飞奔而去，直穿匈奴骑兵的包围圈，抄出敌军的左右两翼而回，报告李广说：“匈奴人容易对付。”士兵才安定下来。李广布成圆形阵势，面向着四外，匈奴猛攻他们，箭下如雨。汉兵死亡的超过一半，汉军的箭也快用完了，李广便命令士兵把弓拉开，不要放箭，李广亲自用大黄弩弓射敌人的副将，射死了几个，匈奴人渐渐松懈。恰巧天色黑了下来，军官士兵都面无人色，可是李广的神气同平常一样，更加精神振奋地指挥军队，军中士兵很佩服他的勇气。
第二天，继续奋力战斗，张骞的军队也到了，匈奴军队才解围而去，汉军疲乏了，不能去追击，这时李广几乎全军覆没，只好收兵回去。按汉朝的法律，张骞耽误了预定的日期，当处死刑，出钱赎罪，降为平民，李广的军功和罪责相当，没有封赏。
李广曾和星象家王朔私下闲谈说：“自汉朝攻匈奴以来，我没一次不参加，可各部队校尉以下军官，才能还不如中等人，然因攻打匈奴有军功几十人被封侯。我不比别人差，但没有一点功劳用来得到封地，这是什么原因，难道是我的骨相不该封侯吗？还是本命如此呢？”王朔说：“将军回想一下，曾有过悔恨的事吗？”李广说：“我任陇西太守时，羌人反叛，我诱骗他们投降有八百多人，我用欺诈手段一天把他们杀光了。直到今天我最大的悔恨只有这件事。”王朔说：“能使人受祸的事，没有比杀死已投降的人更大的了