1940年9月，八路军第129师在百团大战第一阶段作战胜利的基础上，为摧毁日军第4旅团伸入根据地的据点，决定攻击榆社县城歼灭守城之敌。
周希汉将军
榆社是日军突入根据地的最前沿据点，构筑有坚固的工事和碉堡，粮食弹药充足。战前129师三八六旅参谋长周希汉带领侦查人员伪装成村民在榆社城外进行了抵近侦察。
经过侦察，他发现榆社县城西门比较大，城内房屋距离城墙较近，便于部队隐蔽和接敌。
9月23日深夜，三八六旅主力对榆社城展开攻击，周希汉便选择西门作为突破口，但当战士们接近西门时，城内的狗突然发出一阵狂叫惊醒了守城日军，经过激烈战斗，突击部队仅仅占领了西门靠近城墙的几排房屋，可以说首次攻击不是很顺利。
周希汉亲自到前沿，在对日军的明暗火力点和碉堡情况进行仔细观察后，重新组织了进攻，但日军的火力非常猛烈，八路军战士伤亡惨重。就在这时，他命令山炮将曲射改为直射，炮口直接瞄准城门楼上的火力点。
第二次强攻，由于炮兵打掉了日军的重火力点，八路军战士得以奋勇冲击，日军被炮火压制得无法还手，最终八路军夺得西门。
此时虽然夺得西门，但日军在城中心构筑了大小八个碉堡，形成了可以互相支援的交叉火力网，四周还有高达十多米、上面布有铁丝网的围墙，这才是日军的核心阵地。
陈赓
正当周希汉与部下研究如何攻破日军核心阵地之时，386旅旅长陈赓来到他们身旁。进门就说：「二十五团和三十八团已经拿下了沿壁和王景，三十八团小兄弟了不起呀，打死了六十多个鬼子，还抓了四个活的，打得非常漂亮。」
陈赓提到的这两个团都是不久前新扩编的部队，大多数是没有作战经验的新兵。在陈赓的亲自指挥下，这两个团也的确都打得不错。
当然陈赓当众表扬二十五团和三十八团，绝对不是为了表功，而是另有用意，那他有什么用意呢？
此时陈赓继续说：「向老部队学习，可是一直挂在人家嘴上，你们攻不下榆社可不好交差呀，要不让二十五团和三十八团来支援你们？」
原来陈赓使用的是激将法。身为旅参谋长的周希汉及在场的团长、团政委马上异口同声：「让二十五团和三十八团来帮忙，我们这脸往哪儿搁呀？我们一定能攻下榆社！」
陈赓得意的顺势说道：「好，那就看你们的喽！」
第三次强攻与第二次基本相似，仍是用火力进行点对点的打击，让守敌无法抬头。这时突击队员趁机用钳子剪断铁丝网，再用云梯登上了围墙。
日军在碉堡群失守后，剩余残敌退至榆社县城的一所学校，依托一座高大碉堡和围墙继续顽抗，并大量向外施放毒气。
榆社城内顿时到处充满毒气，很多官兵包括现场指挥的陈赓在内都中了毒，一个个感到头晕眼花，还咳嗽、流泪、淌鼻涕，非常难受。
周希汉只得下令暂停攻击，让战士们用湿毛巾捂住口鼻。为了陈赓的安全，他劝陈赓到后方指挥所去，但遭到了陈赓的拒绝：「不行，我要看到你们打下榆社再走！」
考虑日军火力集中，工事坚固，若继续从正面强攻，伤亡必大，可侧面又无法迂回。就在大家都在发愁的时候，一名团长一语惊人：「地面不行，我们就地下。」
一句话把周希汉给点醒了，他决定将地面强攻改为地下坑道进攻，就像师长刘伯承说的那样，我们不啃核桃，而是要砸核桃。
战士们挖了近一个昼夜，终于将坑道挖到了日军的核心阵地内。
然后迅速安放炸药，当炸药包被引爆时，仿佛发生了强烈地震一般，随着日军的碉堡崩塌，战士们在烟雾的隐蔽下以迅雷不及掩耳之势冲入阵地，全歼了日军守敌。
随着榆社战斗的结束，榆辽公路上的日军据点全部被八路军拔除。
经过连续四十多天的紧张战斗，八路军各主力部队都相当疲劳，伤亡也很大。仅榆社一战，七七二团就有十二名副排长以上的干部牺牲，这些干部全都是三过草地的老红军，而七七二团的班长到别的部队都可以直接作为连排长使用。
10月2日，彭德怀发出命令，结束第二阶段作战。这时他仍打算在对主力部队进行整理和补充后，在华北冬季结冰之前再发起一次大破袭。
榆社战斗八路军386旅经过三天战斗，在全歼日军的同时，缴获山炮3门、平射炮4门、迫击炮5门，轻重机枪10余挺、掷弹筒20余个、步枪200余支，让原本缺少重武器的386旅一下子变的富裕起来。
不过在攻打榆社的战斗中，八路军也付出了伤亡200余人、中毒200余人的代价。负责主攻榆社县城的16团2营营长陈道山、副营长白玉科，3营营长范士权也壮烈牺牲，其中8连在战斗结束后仅剩下18人。
