当即下令大军火速撤退。为防汉军追击，单于还命部分骑兵断后，沿途销毁桥梁、焚烧粮草。
此时，埋伏在山谷中的李广，正焦急地等待着匈奴军的到来。他不时派人登高了望，却始终不见匈奴军的踪影。直到天色渐暗，才有侦查兵回报，称匈奴军已撤军，且沿途设防，汉军难以追击。李广听闻后，不禁扼腕叹息：“天不助汉呀！”随后，他率部走出山谷，与其他汉军部队会合，此时韩安国、公孙贺等人也已得知匈奴撤军的消息，只得下令撤兵。
一场精心策划、动用三十万大军的伏击战，最终因一名尉史的泄密而功亏一篑。马邑之谋失败后，武帝大怒，将王恢下狱，李广虽未获罪，却也错失了一次大破匈奴、立功封侯的绝佳机会。
此次事件后，汉匈关系彻底破裂，匈奴断绝了与汉朝的和亲，更加频繁地入侵边郡，而汉朝也正式开启了对匈奴的大规模军事反击，李广的战场，也从之前的“边境防御”，转向了“主动出击”。
元狩四年（公元前119年），汉武帝为彻底击溃匈奴主力，发动了规模空前的“漠北之战”——任命卫青为大将军，霍去病为骠骑将军，各率五万铁骑，分东西两路出击，深入漠北，寻找匈奴单于主力决战。
此时的李广，已年过六十，头发花白，却依旧壮心不已。自马邑之谋后，他又先后参与了多次对匈作战，却始终未能立下足以封侯的战功（汉朝军功制度以“斩杀匈奴首级数量”“俘虏匈奴贵族”“大破匈奴部队”为主要标准，李广虽多次作战，却常因兵力不足、遭遇匈奴主力等原因，未能达到封侯标准）。此次漠北之战，是汉朝对匈奴的决战，李广深知这可能是自己最后的机会，便多次向武帝上书，请求随军出征。
武帝起初并未应允，认为李广年老，且“数奇”（古代认为“数奇”者运气不佳，李广此前多次作战不顺，武帝便有此顾虑），恐难担大任。但李广心意已决，接连上书，言辞恳切，甚至亲自前往宫门请愿。武帝见他态度坚决，又念及他一生守边有功，便最终应允，任命他为“前将军”，归属卫青麾下，随东路军出征。
大军出塞前，卫青从俘虏口中得知了匈奴单于的驻地，便决定亲自率领精锐部队，从正面追击单于，而命李广与右将军赵食其率领部队，从东路出发，迂回到匈奴单于的后方，与自己形成夹击之势。
李广得知这一部署后，当即找到卫青，恳切地说道：“臣结发与匈奴战，今乃一得当单于，愿居前，先死单于！”意思是，自己从年轻时便与匈奴作战，如今终于有机会正面迎战单于，愿担任先锋，与单于决一死战。
然而，卫青却拒绝了李广的请求。其中原因有二：一是武帝在大军出发前，曾私下叮嘱卫青，称李广“数奇”，不宜担任先锋，恐误大事；二是卫青想让自己的好友公孙敖担任先锋——公孙敖此前因作战失利被削爵，卫青想让他在此次战役中立功，恢复爵位。
李广听闻卫青的决定后，心中极为不满，却又不敢违抗将令，只得悻悻而归。他回到营中，并未向赵食其详细说明路，便率部出发。
东路军所经之地，多为沙漠戈壁，地形复杂，水源稀少，且缺乏向导（此前负责引路的匈奴俘虏逃脱）。李广率部在沙漠中行军数日，却始终未能找到正确的路线，反而在沙漠中迷失了方向，行军速度大大减慢。
与此同时，卫青率领的西路军已与匈奴单于主力展开激战。匈奴单于见汉军势大，便率精锐部队突围而逃，卫青率军追击数百里，虽斩杀匈奴兵卒万余人，却未能擒获单于，只得撤兵。
待卫青撤兵途中，与李广、赵食其的东路军会合时，已是数日后。此时，匈奴单于早已逃之夭夭，漠北之战的“夹击计划”彻底落空。
卫青得知东路军迷路的消息后，便派长史（军中负责文书、监察的官员）前往李广营中，询问迷路的缘由，并要求李广提交“军状”（详细说明行军情况的文书），以便向武帝汇报。
长史来到李广营中，态度颇为傲慢，反复追问迷路的责任。李广见此情景，心中积压的不满、遗憾
