百团大战的第一、第二阶段，给予日本侵略军以沉重打击，使华北日伪军陷于混乱的局面。日伪军惶恐动摇，敌占区人心振奋，汉奸政权陷于惶惶不可终日的状态。日军为了稳定战局，也为了报复，四处调集重兵，对华北抗日根据地进行疯狂的大“扫荡”。因此，反“扫荡”作战就成为百团大战第三阶段的中心任务。
经过百团大战第一、第二阶段40多天的连续战斗，晋冀鲁豫部队减员很大，且极度疲劳，亟待休整补充。榆辽战役结束后，曾集结主力于漳河上游的洪水、蟠龙镇一带，准备进行整补。地方工作也准备由大规模支援战争转向生产。然而，这些工作未及进行，就不得不投入大规模的反日军报复“扫荡”作战。八路军总部下达了反“扫荡”作战命令，要求各抗日根据地党政军民要密切配合，实行空舍清野，坚决歼灭敌人一至二路，并分散部分主力协同地方游击队和民兵，广泛开展游击战争，彻底粉碎敌人的报复“扫荡”。
日军“扫荡”自10月6日首先从太行区开始，次及太岳区和其他地区。一个被俘的日本士兵供认：
当这次作战开始前，第二二二联队第一大队长桥本正少佐，于山西省襄垣县夏店镇的车站前，集合全体士兵，传达了上级的命令：“这次作战目的，与过去完全相异，乃是在于求得完全歼灭八路军及八路军根据地内的民众，因此凡是敌人区域内的人，不问男女老幼，应全部杀死，所有房屋应一律烧毁，所有粮秣，其不能搬运者，亦一律烧毁，锅碗要一律打碎，井要一律填死或投下毒药……”于是在大队中，新编了两个放火队，一个投毒小队。在作战中一见老百姓，不问男女老幼，或用刺刀或用步枪、机枪杀死，甚至在窑洞中发现了藏起来的老百姓时，也要用炮来轰击，这样足足杀死了3000多人，沿途的房子也都被烧光……
因此，这次“扫荡”的日军，完全失去理性，与禽兽无异。一进敌后根据地见人就杀，见东西就抢，见房屋就烧。如和顺县石拐镇先后被烧了5次，村庄成了一片焦土；在平顺马家庄，日军将群众逼到一所大房子内，一把火烧死290多人。仅太岳区沁源一个县，就有5000男女老幼被日军残杀；在沁源县城，仅姚家院一处就被烧死137人；在韩洪镇，日本强盗把从山中搜出躲藏的群众400多名，集中到龙王庙内，一齐烧死。
日军在“扫荡”中，实行“摧毁共军生存条件”的烧光、杀光、抢光的“三光政策”，除了说明它灭绝人性外，实际是最愚蠢最短视的决策。山西省人民数十年来没有经过什么战乱：辛亥革命只是换了个旗帜，蒋阎冯大战时，冯玉祥的部队也只是打到雁门关外，山西省腹地并没有遭到过什么战乱，所以人民的性格相当朴实。日军的暴行，把群众逼得走投无路，无须共产党争取，都自动起来跟着八路军积极抗击日军的侵略。短短几年，山西省成为最模范的抗日根据地，成为打击日军最得力的地区，人民成了最坚强的抗日战士。日军不能不自食恶果，自掘坟墓。日军进行的非正义战争，就奠定了失败的基石，“三光政策”的实施，加速了它失败的进程。
日军的报复“扫荡”首先从太行区开始，陈赓率领太岳军区部队参加了太行区的反“扫荡”。10月6日，日军3000多人，分路进犯浊漳河两岸地区，寻找八路军主力部队和首脑机关决战。陈赓奉命掩护总部转移，指挥部队在韩壁、东田、南山头等地进行阻击。10月14日，西营、蟠龙镇之敌在飞机掩护下东犯，太岳军区和太行军区部队顽强阻击，敌人3天中只前进了30里，伤亡很大；同时运输部队又遭到八路军外线部队的不断打击，供应相当困难，不得不于17日分路撤退。第一次“扫荡”就宣告结束。
10月20日，日军马不停蹄地又集结了上万兵力，对太行区进行第二次“扫荡”。范围遍及清漳河东西两岸，重点还是进攻八路军及党政机关。陈赓协同太行军区部队先后在温庄、凤脑顶等地重创敌人。10月29日，敌第三十六师团冈崎大队，在八路军截击下，逃至武乡县关家垴、柳树垴一带，太岳纵队的4个团和太行部队对其展开猛烈攻击，炮兵摧毁了敌人的前沿阵地，突击部队与敌往返冲杀5小时，在敌机轮番轰炸下，仍占领了关家垴周围的高地。30日凌晨，狡猾的敌人以一个中队的兵力，趁夜暗摸到第二十五团第二营柳树垴前沿阵地，突然攻击并占领了柳树垴阵地。柳树垴和关家垴隔沟相对，地势高于关家垴，是关家垴的主要屏障。失去柳树垴对攻击关家垴造成困难。第二十五团决心夺回柳树垴，但因日军居高临下，四周又是2米来高的立壁，不好攀登，火力又不如敌人强，再加上空中敌机骚扰，7次冲击均未奏效。当日拂晓，总攻关家垴战斗打响，太岳纵队的4个团和总部特务团、第七六九团从四面八方对敌人发起攻击，与敌短兵相接，展开肉搏，连续18次攻击，终于占领了关家垴高地。
刘伯承率领陈赓等负责人，来到关家垴阵地考察，仔细观看了日军在台地的四周挖下的许多“猫耳洞”，人藏在里面确实很安全。刘伯承指着说：“别小看这小小的招式，凭我们现有的武器还真不好对付。这个办法我们也可以学习嘛。”
太行区反“扫荡”后，陈赓率领部队回到了太岳区。但是，自11月17日起，日军出动了7000多人，转而“扫荡”太岳区，兵分多路向抗日根据地腹地进犯，沁源县城及其以北的郭道镇地区为其主要合击目标，沿途大杀、大烧、大抢，无恶不作。陈赓指挥地方武装节节阻击，主力部队适时转移到日军合击圈外，根据刘伯承“敌进我进”的原则，敌人进到敌后根据地，八路军就进到敌占区，消灭敌清剿部队，攻打交通线上敌人空虚了的据点。日军在权店遭到决死队的伏击，被击毙百余人；在胡汉坪、马背一带，又被毙伤160余人。敌人合击扑空，又屡遭打击，且不断受到地方武装、游击队及民兵的骚扰，兵力空虚的交通线上的老巢又频频告急，被迫于12月上旬分路撤退。至此，反“扫荡”作战胜利结束，整个百团大战也就在此画上了句号。
12月10日，第十八集团军总司令部野战政治部发表公报，公布百团大战的战绩：“英勇卓绝空前之百团大战自8月20日开始发动以来，至12月5日止，连续作战，整整3个月又15天……总计进行了大小战斗1824次”，毙伤日伪军2.5万余人；俘虏日军281人，摧毁日伪据点2993个；破坏铁路948里、公路3004里、桥梁213座；破坏煤矿5所。缴获大量武器弹药及各种物资。
日军在内部报告中也承认：八路军“突然发动的百团大战，给了华北方面军以极大打击……特别是在山西，其势更猛……此次袭击，完全出乎我军意料之外，损失甚大，需要长时间和巨款才能恢复。”
百团大战胜利的消息传开后，举国上下一片欢腾。报社、电台相继发表社论、社评祝捷，各抗日救亡组织和群众团体纷纷举行庆功会，国民党统治区群众也纷纷来信慰问。不少国民党将领发来贺电，蒋介石也发来嘉奖令，还派人送来很多奖章发给部队指战员。
百团大战提高了共产党部队的声望，使全国人民认识到共产党是抗日救国的中流砥柱，坚定了抗战胜利的信心，打击了日军与国民党内投降派制造的投降妥协的逆流。百团大战的胜利关系到战略全局，在中国反对外来侵略的斗争中，将永载史册。
百团大战给予日军以沉重打击，这是完全应该肯定的，它的影响之大也是不容抹杀的。问题是八路军损失太大。仅就第一二九师的统计，三个阶段共毙伤日军和汉奸部队8000余人，自己也伤亡了7000余人。决死一纵队的第二十五、第三十八两个主力团，出发时各有2200多人，百团大战打下来，两个团各整编成一个战斗营和一个干部队、一个后勤队、一个特务连、一个机枪连，且都不够编制人数。这和刘伯承师长常说的“歼敌三千，自损八百”的兵家常规，相差太远了。而这7000人中，许多是经过长征的老战士。那时部队新兵多，这些经过严峻考验的老兵，还大多在基层任职，激战中不能不亲自带领新兵去第一线冲杀。更何况在敌人报复“扫荡”中，人民群众受到了重大损失。这些为民族解放奋勇抗击日军而流血牺牲的英雄们，永远活在人民心中，受到人民的敬仰。
陈赓曾预料到这一情况。1982年，原第三八六旅参谋长周希汉曾亲口对苏策说：“陈赓是不主张打百团大战的，他认为那样会把自己的基本力量拼掉。所以上级在第一阶段作战时叫我指挥太岳部队。陈赓司令员所以在百团大战中积极指挥作战，因为他是遵守纪律的模范。”
1944年4月5日，陈赓在延安中共中央党校一部三支的《报告》中也提到了这个问题：到了“第二阶段，我觉得不能再打了……我问一个问题，这一仗是不是中国革命最后的一战？或对革命有很大帮助？如答复是就打，否则不打。师长来命令叫一定要打。”
1945年4月，在中国共产党召开的第七次全国代表大会上，刘伯承在发言中谈到了百团大战，他指出：当时八路军方面对华北战场敌强我弱的形势和敌我斗争的长期性认识不足，指挥上带有某种盲目性，尤其是第二、三阶段，更多地采用了阵地战的形式，增大了部队的伤亡，伤了自己的元气。
《彭德怀自述》中也对百团大战有个说法：“如果当时看破了敌人这样的战略企图（即不是要进攻西安，而是要打通粤汉线），那就再熬上半年时间，或者等敌人进攻长沙、衡阳、桂林以后，兵力更加分散时，我军再举行这次大规模的破袭战役，其战果可能要大得多，其意义也要大得多……再者，破击战役后期，我也有些蛮干地指挥……使（部队）战斗力减弱了，使一二九师伤亡多了些。”
陈赓在百团大战中看到部队受了重大损失，上级对自己的正确意见不接受，还派人督战时，曾潸然泪下，在延安整风运动中曾对此进行过尖锐批评。但在建国后编写第二野战军战史时，他却坚持应对百团大战作实事求是的评价，不赞成贬低它的意义，并把责任归结到某个人的身上。
陈赓所以能独具慧眼正确看待百团大战，是因为他能清醒地看待敌情。当时，坚持敌后抗日战争的条件十分艰苦，敌强我弱的形势决非一两个战役能改变的。应当按毛泽东坚持持久战的原则办。此外，他一直以犀利的目光，注视着国民党顽固派的动向。蒋介石虽然对百团大战的胜利慰勉有加，但百团大战期间，国民党驻扎在华北的数十万军队，却没有给予八路军一枪一弹的配合。1941年1月20日，日本陆相东条英机向贵、众两院报告战况时说：“昭和十五年度（即1940年），重庆敌军抗战之特色为作战之非常消极，迄今未举行主动的反攻，只有共产军于去年8月在华北举行比较大规模的出击。”这也就促使日军惊呼“对华北应有再认识”。蒋介石高兴之处也在于此：日军将针对国民党军队的兵力，大量抽调到华北，以加强对八路军抗日根据地的“围剿”与“扫荡”，使蒋介石可以腾出手来反共。这当然是百团大战发起者始料所未及的。
陈赓所以要问“这一仗是不是中国革命的最后一战”的道理也正在此，因为他看到了取得反帝反封建任务的完成，道路还很长很长。他在1941年1月14日《日记》中写道：
大资产阶级利用八路军积极活动，牵制敌人，使大后方得到安全，使他们能积蓄力量，准备反共，准备窃取抗战胜利后的革命果实。造出八路军“游而不击”或者“百团大战是假的”等谣言来刺激我们，更加积极地利用日军来削弱我们的力量，或者消灭我们。大资产阶级的狼心狗肺，昭然若揭。我们应该防备，应该警觉。
陈赓在写这段《日记》的时候，由于当时交通、通信联络的困难，他还不知道在安徽省南部，已经发生了国民党军队聚歼新四军近万人的“皖南事变”。1月14日，新四军军长叶挺、副军长项英率领部队向长江以北转移，行至泾县茂林镇时，突然遭到数倍于自己的国民党军队的围攻，新四军被迫自卫，激战7昼夜，终因寡不敌众，项英副军长被害，叶挺军长被扣押。陈赓直到1月19日才知道此事，悲愤已极，在《日记》中写道：
（薄）一波、（安）子文来，知新四军军直及一个支队在皖南之茂林镇被大于我方兵力五倍之国民党军队所聚歼，叶、项有被俘讯。骤闻之下，悲愤交集，恨不得即刻集结部队，直捣皖南，与内战挑拨者决一死战，以泄吾恨。但布尔塞维克不能够如此，因此终夜不能安眠……大资产阶级无论在什么时候，哪怕偶一对你发出笑容，那都是欺骗，都是笑里藏刀。可惜我们过于纯忠，不识好坏，结果中其毒计，这是愚蠢。
陈赓所以在百团大战时，反对蛮干，反对把部队拼掉，就因为他不仅看到当前的战场，而且视野更加开阔，远见卓识地想到未来。
为了应对敌后抗日战争发展的新形势，1941年8月，18集团军总部命令成立太岳纵队（兼军区），陈赓为司令员，薄一波为政治委员。
