后来，武帝又派卫青率十万骑兵出塞追歼匈奴。在这次战役中，18岁的年轻将领霍去病脱颖而出。霍去病是河东郡平阳（今山西临汾）人，其母卫少儿是皇后卫子夫和大将军卫青之姐。由于霍去病少年英武，又“善骑射”，受到了汉武帝的赏识，17岁时被提拔为武帝侍中。出兵定襄之前，他积极请求随舅舅卫青出征，被汉武帝任命为剽姚校尉。校尉是地位较高的军官，仅次于将军，“剽姚”是形容行动勇健轻捷的样子。大将军卫青还挑选了800名精锐骑兵归霍去病指挥。
汉军出塞后，霍去病率800骑兵冲杀在前，离开汉军主力，一直奔袭数百里。这支骑兵小部队，找到匈奴部队后，以迅雷不及掩耳之势发起突然袭击，打得敌兵措手不及，溃不成军。汉军以少胜多，斩敌两千多人，杀死匈奴单于的叔祖父籍若侯产，生俘单于叔父罗姑比，大胜而归。汉武帝发布命令，称赞霍去病勇冠全军，封他为“冠军侯”。霍去病初上战场，就表现出了超群的军事才能。为了表彰他的战功，汉武帝在长安给他造了一座阔气的豪宅，霍去病却拒绝了汉武帝的好意，豪气冲天地说：“匈奴未灭，无以为家！”表现了强烈的爱国激情。“出身仕汉羽林郎，初随骠骑战渔阳。孰知不向边庭苦，纵死犹闻侠骨香。”王维的这首《少年行》说出了当时长安少年的梦想，也说明了人们对于霍去病这个少年英豪的崇拜与仰慕。
河西争夺战，浑邪王降汉在合黎山、龙首山和祁连山之间，有一处东南-西北走向、长达1000公里的狭长地带，因地处黄河以西，古称“河西”，今因其地理特征又称为“河西走廊”。这个连接内蒙古高原和青藏高原的走廊，水源丰富，土质肥沃，宜耕宜牧，又是中原腹地通往西域的咽喉要道，战略地位十分重要。
汉文帝初年，匈奴逐走月氏人，占据了河西之地。匈奴单于命浑邪王统治河西的西部，大约相当于今甘肃酒泉地区；命休屠王管辖河西东部，大约相当于今甘肃武威地区。他们据此而西控西域各国，南制西羌诸部，对西汉王朝的西部边境构成了严重威胁。
汉武帝即位之初，曾有一个联合月氏、夹击匈奴的宏伟计划。然而这个计划的实施却颇费周折，首先是北部战场压力太大，令汉军无暇他顾；其次则是月氏人无意东归故地，使汉军孤掌难鸣。因此，直至汉匈漠南会战之时，河西地区仍在匈奴人的牢固控制中。
漠南之战结束后，匈奴单于把主力远撤至大漠以北，大漠以南的广大地区，仅剩下匈奴左贤王和河西的浑邪、休屠二王。左贤王虽仍不断袭扰汉边，但规模不大，且又局限在东北一隅，可暂时不必对他大动干戈。河西之地的匈奴军自身实力不强，尤其是在右贤王被汉军击破之后，更显得势单力薄；浑邪、休屠二王多年来又一直把主要精力集中在控制西域和西羌之上，对汉军并不怎么注意。而张赛出使西域回国后，虽然带来了月氏人不愿与匈奴人为敌的信息，但他同时又极力主张经营西域，认为取得西域可“广地万里”，不仅能获取“天马”、“奇物”，而且可以招来西域各族为外臣，利用当地各族之间的矛盾孤立匈奴，以“断匈奴右臂”。因此，汉武帝决定把主战场转移到西北地区，夺取河西之地，以解除汉朝西部边境的威胁，并为进一步经营西域、北击匈奴奠定基础。
公元前121年春，年仅19岁的霍去病被任命为骠骑将军（位同大将军），率领骑兵万人，从陇西出塞，越乌盩山（今甘肃乌鞘岭），向河西走廊的匈奴人发起进攻。他采取了突袭战法，长驱直入，破遫濮王部众，渡狐奴水（今甘肃石羊河），短短6天连破匈奴五王国。接着越过焉支山（今甘肃山丹大黄山）向西北进击千余里，与匈奴军鏖战于皋兰山下，击杀匈奴折兰王、卢胡王，虏浑邪王之子及相国、都尉多人，歼敌近9000人，缴获休屠王的祭天金人，汉军河西首战告捷。
汉军取得第一次河西之战胜利后，为保证作战突然性，稍事休整，于同年夏，发起第二次河西之战。汉武帝派骠骑将军霍去病与合骑侯公孙敖率数万精骑出北地郡，卫尉张骞、郎中令李广等率部出右北平，策应霍去病主力，以防止东北方向的匈奴左贤王部乘机进攻。霍去病率精骑渡黄河后，沿沙漠南缘，绕道河西走廊北边，迂回纵深达2000多里，越过居延泽（今内蒙古额济纳旗北），攻至祁连山（今甘肃张掖县西北），沿弱水河流域（今甘肃纳林河）转向西南至小月氏（今甘肃敦煌南湖镇旧关遗址西南），与河西匈奴主力展开决战，大破匈奴各部，俘获匈奴酋涂王和单于阏氏、王子、相国、将军、当户、都尉等百余人，歼敌三万多人，收降匈奴浑邪王部众四万，全部占领河西走廊。这是西汉对匈奴开战以来所取得的一次空前大捷。
但此次战役，汉军亦损失十分之三。公孙敖因迷失方向，未能如期与霍去病军会合。李广部4000骑出右北平数百里，因张骞部未能按时出塞，被左贤王四万骑包围。李广以圆阵对外防御，激战两日，死伤过半。张骞部赶到，左贤王才解围而去。
霍去病在两次河西之战中，都注意利用匈奴内部的矛盾，坚持“舍服知成而止”的政策，只要敌军表示归服便赦而不问，而把打击的目标集中在拒不归服、坚持反抗的一小部分顽敌身上。第一次进军河西时过部落而不战，皋兰山下之战也只诛杀“锐悍者”而不残无辜等，都是“舍服知成而止”政策的具体表现。这不仅对分化瓦解敌军、夺取战争的胜利，起到了相当的作用，而且还对河西各族产生了巨大的影响，促使浑邪王的数万部众在后来归降了汉廷。
伊稚斜单于对河西匈奴军的两度惨败十分恼怒。当年秋天，他下令召见浑邪王、休屠王，欲加杀戮。浑邪王遂与休屠王密谋降汉。汉武帝闻报则喜，但又恐有诈，特地派霍去病率军前往受降。汉军出动之后，休屠王又忽然变势，结果被浑邪王所杀，部众也被吞并。霍去病的大军渡过黄河，与浑邪王军队遥遥相望，“浑邪稗王将见汉军而多不欲降者，颇遁去”，局面一片混乱。霍去病立刻率领精锐突入匈奴军中，将浑邪王置于自己的监护之下，同时纵兵斩杀了八千多名力战欲逃之人，稳定了局势。然后，派人护送浑邪王前往长安，同时命汉军监护号称十万实有四万多人的匈奴降众东渡黄河。汉武帝下令郡县出动大车三万辆相迎，将他们分别安置在陇西、北地、上郡、朔方、云中五郡黄河以南的战国秦长城之外，“因其故俗，为届国”。同时，“赏赐数十巨万，封浑邪王万户，为漯阴侯”。
汉军占领河西之地后，汉武帝置武威、张掖、酒泉、敦煌四郡，称为河西四郡，并移民屯田戍边。从此，河西走廊至罗布泊一带再无匈奴。汉朝控制了河西地区，截断了匈奴和羌人的联系。从此打开了内地通往西域的道路，实现了“断匈奴右臂”的战略目标。张骞，这位中国古代历史上最杰出的外交家也再一次踏上了出使西域的征途。
漠北之战，匈奴远遁经过漠南、河西两大战役的打击，匈奴势力遭到了重创，汉军已完全占有了这场旷日持久的反击战争的主动权。然而匈奴不甘心失败，仍继续从事南下袭扰的活动。并采纳汉降将赵信的建议，准备引诱汉军主力至沙漠以北地区，然后乘其兵疲而袭击。
汉武帝为了彻底歼灭匈奴主力，从根本上解决这一边患问题，针对匈奴认为汉军不能度幕（沙漠）轻留（轻入久留）的心理，将计就计，在经过充分准备后，决定对匈奴采取更大规模的军事行动。并且因势利导、乘敌不备，确定了集中兵力、深入漠北、寻歼匈奴主力的具体作战方针。
公元前119年，汉武帝集中了精锐骑兵十万人，组成两个大的战略集团，分别由大将军卫青、骠骑将军霍去病统率。另以步兵几十万、马匹十余万配合骑兵主力的行动。另派了十万辎重兵转运粮草，以保证主力军的物资供应。
卫青、霍去病领命后，各率精骑5万分别出定襄和代郡，分东西两路向漠北进发。这是汉匈交战以来，汉军规模最大的一次远征。
匈奴单于闻报汉兵将至，采纳赵信建议，将部众、牲畜、辎重转移到更远的北方，“以精兵待于漠北”。卫青出塞后，得知匈奴单于的战略意图，即率主力直扑单于所在，横渡大沙漠，北进几百公里，寻歼单于本部。同时命令李广、赵食其率所部从东面迂回策应。不久，卫青部主力与匈奴单于相遭遇。卫青下令用武刚车环绕为营，以防匈奴军的袭击，接着便指挥5000精骑向单于军发起猛攻，单于即遣一万骑应战。
双方鏖战至黄昏，大风骤起，飞沙扑面，两军难辨彼此。卫青乘势分轻骑从左右迂回包抄。单于见汉军人多势众，自度无法取胜，遂带数百精骑突围，向西北逃遁。卫青发现单于潜逃，即派轻骑连夜追击，自率主力随后跟进。是役虽然未能擒服单于，但一举歼俘匈奴军19000人，挺进到今蒙古杭爱山南端的赵信城，尽烧其城和匈奴积粟而还。然而，在此次战役中，飞将军李广进军的东路因路途遥远，又没有向导，在沙漠中迷失了方向，错过了会合的时间，李广因误期而自杀。一代名将在历史舞台上的表演最终凄惨落幕。李广出身名将世家，他16岁从军，历经文帝、景帝、武帝三朝，参加了大小七十多次战斗，是让匈奴人闻名丧胆的“飞将军”，但他的一生却充满了传奇悲壮的色彩。也许是如汉文帝所说，李广生不逢时，也许是“卫青不败由天幸，李广无功缘数奇”，在李广的征战过程中总是会遭遇意外的挫折，可怜他年逾耳顺，也未能封侯，留给历史的是“李广难封”的叹息与遗憾。
根据汉武帝的作战计划，霍去病的东路是主力军，汉武帝给他配备的力量最强，汉军“敢力战深入之士”都交给他指挥。霍去病深入漠北两千多里，与匈奴左贤王相遇，展开一场激战，尽歼其精锐七万余名，俘获匈奴屯头王、韩王等3人以及匈奴将军、相国、当户、都尉等83人，匈奴左贤王部几乎全军覆灭。左贤王及其将领弃军逃逸，霍去病乘胜追杀，至狼居胥山（今蒙古肯特山），直到翰海（今蒙古高原东北境），然后凯旋班师。
漠北之战是汉匈间规模最大，战场距中原最远，也是最艰巨的一次战役。汉军虽然付出了很大代价，但共歼匈奴九万余人，给了匈奴以致命打击，严重地削弱了匈奴的势力，造成了“是后匈奴远遁，而幕南无王庭”的局面。匈奴失去水草丰盛、气候温和的河南、阴山和河西三大基地，从此远徙漠北苦寒之地，人畜锐减，开始走向衰落了。汉北自朔方，西至令居（今甘肃永登），以六十万吏卒屯田，加强防守。汉武帝取得抗击匈奴的战争的胜利，使国家更加统一，长城内外“马牛放纵，畜积布野”，为经济文化的发展创造了极为有利的条件，也为汉王朝加强和巩固边防建设，促进中国与中亚、西亚各国人民的友好往来开辟了道路。
汉匈休战，不打落水狗漠北之战对匈奴的打击无疑是致命的，匈奴能作战的部队基本被消灭，原来的汉匈边境也不见匈奴的踪迹。假如这一时期汉朝再次对匈奴发动大规模的打击，匈奴确实难逃亡国灭种的命运。但汉朝并没有乘胜追击，反而从公元前118年至公元前100年的18年里，没有再对匈奴进行大规模军事行动，汉匈双方进入了休战时期。这似乎不太像汉武帝的风格，但是回过头来，对双方的具体情况进行分析，我们可以看出，汉武帝此举无疑是明智的。
对于汉朝来说，匈奴尽管态度依然傲慢，但是没有继续对汉匈边境进行骚扰。这说明他们已丧失了战斗能力，而汉朝在此期间，也正忙于对大宛、朝鲜、西南、南越的战争，以至于没有顾上去打匈奴这落水狗。而且，汉朝在几次大规模的征战中，人马损失也比较大，无法像原来一样进行更深入的打击。另外，随着霍去病、卫青的先后故去，汉武帝也感到缺乏可以真正予以重任的得力大将。对于匈奴来说，这也正好给了他们一个休养生息的机会。
从匈奴方面来看，漠北大败之后，除了军事实力衰败、人口锐减以外，最高统治者单于的频繁更立，使得匈奴的内部局势一直比较动荡：
公元前114年，生不逢时的伊稚斜单于病死，其子乌维继立，乌维单于在位期间，没有同汉朝发生军事冲突，而是与汉朝进行了一系列劳而无功的外交交涉，汉朝这边是想通过外交及离间策略迫使匈奴彻底臣服，而匈奴这边则是希望通过和谈，取得缓冲时间，好得以整顿内务、休养生息，以备东山再起。
公元前111年，南越平定，武帝方腾出手来解决匈奴残余势力。这年秋天，武帝命浮沮将军公孙贺、匈河将军赵破奴各领一支人马出塞寻歼匈奴残部。二将深入漠北数千里，也没见到匈奴兵，只得班师而回。
公元前110年，武帝勒兵18万骑北巡，旌旗绵延千余里，耀兵北疆。此后，汉匈双方便开始遣使和谈。但是和谈的过程并不顺利，一方面，匈奴虽然已失去以往盛气凌人的气势而处于劣势，但是仍极力要求双方平等；另一方面，汉朝仍坚持要求匈奴臣服。再加上汉匈双方互扣使者，所以，双方的议和很难达成。
公元前105年，匈奴乌维单于去世，其子乌师卢继立，以其年少，号为“儿单于”。此时的匈奴，国内局势动荡不安，国势也愈加衰落，儿单于只好将其部众向西北迁徙，其左部直抵云中郡，右部则直抵酒泉、敦煌郡。
武帝趁此机会，分遣二使者，一至单于处，二至右贤王处，欲运用纵横之术离间匈奴内部的关系。不想此二使者甫入匈奴地域，便悉为儿单于所获，于是计谋败露。儿单于恼羞成怒，扣留了汉使。此后，汉朝派出的十几批使节皆被匈奴人扣留。汉武帝也只得做出相应的外交反应，扣留匈奴来汉朝的使臣，双方扣留人数大约对等。
公元前104年冬，在匈奴内部，亲汉派和强硬派产生了激烈的冲突：亲汉派领袖左大都尉认为继续同汉对抗是自取灭亡，而以儿单于为首的强硬派，则依然主张通过战争走出困境。儿单于喜怒无常，生性残暴，好杀人，对意见不合的人往往一杀了之，于是引起一部分人的强烈不满，也导致国中多有不安。左大都尉遂决定，采取阴谋活动杀死儿单于，但考虑到自身力量的不足，便派人暗中与汉朝联络，请求接应，并承诺杀死儿单于后，全体降汉。
汉武帝闻讯后极为欣喜，假如这个计划能实现，汉朝的心腹大患将被彻底根除。于是派因杅将军公孙敖在漠南筑受降城作为接应（受降城故址在今内蒙古乌拉特中旗东阴山北）。但是，这个冒险计划实际上成功的可能性并不大。虽然此前匈奴多次被汉朝击败，但其内部凝聚力仍然很坚实，未发生大的分裂，漠北之战单于与匈奴大部走散，匈奴右贤王以为单于已死，自立为单于，但单于一旦归来，右贤王自动去其号，仍为右贤王。在其后的谈判期间，在汉朝的压力下和自身的极度窘迫中，匈奴依然表现出极端的自尊。
