百团大战第一阶段结束后，1940年9月20日，陈赓参加八路军总部召开的作战总结大会，汇报了太岳纵队作战的情况和经验教训。陈赓于21日回到部队，随即接到总部和师部关于进行百团大战第二战役的作战命令：以第三八六旅和决死一纵队的两个团为左集团，攻占榆社县城和沿毕、王景三据点；以第三八五旅并第三十二团为右集团，攻取管头、铺上、小岭等据点；命新十旅分布于和（顺）辽（县）公路线上进行破击，牵制昔阳、和顺等县之敌。太岳军区的其他部队在沁县南北交通线上进行破击，配合榆（社）辽（县）公路线上的作战。命令并规定战役必须于9月23日全线打响。
日军占领的从榆社县到辽县的公路，就像一只手臂伸到太行山中来，东北连接和顺至辽县的公路，还想从榆社县向西南延伸，经武乡县与白晋铁路连接，实施“囚笼政策”，以达到分割太行山抗日根据地的目的。因此，百团大战第二阶段的重点，就是把日军伸进根据地的这只手臂斩断。
榆社县城是日军深入抗日根据地的据点，也是他们转运弹药、粮秣的重要枢纽，又因不断遭受游击队、民兵的袭扰，所以日军十分注意这里的守备。守敌为片山旅团板津大队的藤本中队，素以剽悍著称，有日军220余人，城内还有汉奸部队和伪政权60余人，构筑了大小碉堡8个，以及其他的层层工事，自诩“固若金汤”。
根据上述情况，陈赓决定以第七七二团和第十六团，附山炮1门，攻击榆社县城；以第三十八团和第二十五团分别夺取王景、沿毕两据点，争取在两日内解决战斗。
八路军当时没有攻坚经验，又没有足够的火力及必需的装备与器材，用这种部队攻城，对于陈赓来说当然是个很担心的难题。所以，他亲自率领旅、团指挥员和担任攻击部队的营连干部，到榆社城去作了一次实地侦察。回来研究了侦察所得后，又叫周希汉参谋长带领大家再去侦察了一次。
榆社县城确实地形险要，除城北城东有一条道路可接近外，余皆为断绝地。且日军重点防守之东门城墙上，筑有一个高大碉堡；北面和西面分别设有监视台，可瞭望全城及四野之动静，给部队的隐蔽带来很大的难题。后来，终于在城东约20公尺的断绝地下面，发现了一块方形的树林，陈赓就决定部队在那里隐蔽，作攻城的出发地。并具体分派了任务：第七七二团第三营附山炮1门，攻击西关的西南角；第二营以两个连，攻击城南小高地敌之分哨；第十六团第一营附机关炮1门，攻击西关的西北角，协同第七七二团第三营夺取西关；第十六团以一个营在北门佯攻，派一个连封锁东门外敌碉堡。同时对袭击和强攻作了两手准备，所以两个团除了自己的正规武器外还准备了梯子、燃烧弹、地雷、炸药及铡刀、煤油等各种器材。
23日夜，部队按计划向敌人阵地隐蔽推进。第七七二团第二营匍匐前进通过敌人铁丝网时，惊起了一阵狗叫，被敌人发觉，遭到猛烈射击，该营依托既得阵地，顽强地抵抗敌人。进攻西关的两个营，由于阵地选择不当，多次攻击均未奏效。于是陈赓命令停止攻击。
第二天拂晓，他拄着手杖又来到阵地，冒着敌人的炮火，带领干部围绕敌据点进行抵近侦察，数点敌人工事上的每一个枪眼、炮口以及他们可以射击到的角度。然后，开展军事民主，动员大家开动脑筋想办法，研究对策。
陈赓在检查这次攻击情况时发现，由于夜间进攻，部队火力阵地的选择及火力使用上，不易收到压制敌人火力的效果，于是决定重新组织火力，在白天进攻。为此调整了部署，第七七二团一个营攻东门楼，一个营攻城的西北角，第十六团一个营攻城的东北角。山炮抵近射击东门楼，机关炮射击两个城角，迫击炮射击敌重火器阵地及中心地区。同时，指示作战连队：以两挺重机枪对付敌人一挺轻机枪，以轻机枪和特等射手对付敌人一个枪眼。如果某一个枪眼没有按规定的办法封锁好，叫敌人射出子弹来，就要追究负责压制那个枪口的人的责任。
24日下午3点半，总攻开始，枪、炮、手榴弹一片轰鸣，汇成震天动地的巨响，敌人的火器全被压制，于是“狗急跳墙”，大量施放毒气。但是陈赓就在烟火的笼罩中，毒气的迷雾里，碉堡的枪口下，坚持指挥部队突进城中，向文庙及榆社中学攻击。此时敌人大部被歼，但残敌利用学校中构筑的核心工事及围墙继续顽抗。各部队几次猛冲均未奏效。毒气到处弥漫，指战员几乎全部中毒。
陈赓再次命令攻击暂停，他在火线上召集干部会议，总结经验教训，进行新的准备。当夜11时50分，部队进行第三次攻击。兵分三路：一路由西边攻击文庙；一路由西北角攻击榆社中学；另一路从东北角攻击榆社中学。由西面攻击的部队很快占领了文庙；由西北角攻击榆社中学的一路，攻进了学校的围墙，占领了马厩，敌被迫退守到学校东北角的工事里去。此时，攻击榆社中学的另一路也到达了东北角的断绝地下面，威胁着敌人的腹背。这时敌人又大量施放毒气，因夜里天阴，气压较低，毒气不易消散，陈赓再一次下达了暂停攻击的命令，巩固已得阵地，养精蓄锐，准备最后歼灭敌人。
陈赓再次视察阵地，发现东北角的断绝地，正好在敌人工事的背后，如果从这里进行坑道作业，正好到达敌人工事下面。于是决定挖坑道，然后装炸药，进行爆破。
陈赓召集各级指挥员讲话：“在前几次的攻击中，敌人的主要工事，差不多都被我们攻下了。现在只剩下东北角一个碉堡和中学里的一些房子，只要大家再提高一步顽强性，一定可以攻下来。所以今天的要求是：在这一次攻击中，一定要顽强地全部占领榆社城！”因为师部给陈赓攻城的时间只是三天，为的是不让敌人平汉铁路和白晋铁路的援兵自东西两方赶到。
25日下午2时45分，坑道作业全部完成，然后用一个棺材装满炸药抬进去装填好。随即一声巨响，山崩地裂，碉堡顷刻倒塌，敌人血肉模糊的肢体与四面飞散的碉堡木石混杂在一起。突击部队趁房倒屋塌、烟雾弥漫之机，奋勇冲杀，接连不断地向敌人据守的房屋投掷手榴弹，绝望的日军中队长藤本，在中学的东北角剖腹自杀了。剩下的日军割下他的头，带着逃出城，大概跑了十来里地，又被陈赓预先埋伏好的部队俘获。
与此同时，决死一纵队的第二十五、第三十八两个团，也分别歼灭了王景、沿毕两个据点之敌。
榆社之战充分显示了陈赓在攻坚战术上的造诣。刘伯承曾多次表扬，特别是数清敌枪眼、炮口，并针对之一一进行封锁的办法，认为是陈赓的一大发明，应予推广之。就是由于这个“发明”，一个日军俘虏战后仍心有余悸地对陈赓说：“你们是脚露出来打脚，手露出来打手，火力又强又准。”
此后陈赓对来访的记者发表谈话说：我们的胜利，“给了敌人一个严重的教训，告诉了他们，太行山并不是无人之境，可以由他们大摇大摆地横冲直撞。”
扫荡了榆辽公路上的日军，结束了百团大战的第二阶段。这个第二阶段开始不久，毛泽东在延安作的《时局与边区问题》的报告中，对这次战役给予充分的肯定。他指出：百团大战是“敌我相持阶段中一次更大规模的反扫荡的战役反攻”。这样的仗，有条件的地方，还是要打。
