兩個師轉入第二線陣地後，為了執行上級「正面要堅持七天」的戰鬥任務，莫樹傑軍長想到了一個好辦法：夜襲。近戰、夜戰是中國軍隊的長處，尤其是在占據天時地利的情況下，如果能夠趁夜色將白天失去的陣地奪回來，那或許還可拖延幾天。於是，莫軍長果斷下令第174師、189師組織突擊隊，準備夜襲，企圖收復大竹山、滾山等重要據點。
理想很豐滿，現實卻很骨感。讓莫樹傑估計失誤的是。日軍雖不善夜戰，但是有比桂軍好得多的武器，攻擊和防禦力量都相當強；而且他們占領陣地後，又將陣地工事改造，反過來為他們所利用，來賺取中國人的鮮血。
是夜，第84軍夜襲隊接近據點時，四周異乎尋常地安靜，只聽到一些蟲鳴鳥叫。但日軍沒有玩空城計，而是實實在在地安排了兵力，據點一律進行了嚴密的軍事管制，遠遠就能看到一隊隊日本軍人在巡邏放哨。和中國軍隊打交道多了，日本人似乎更多了一些拼命三郎的勁頭，即使是在白天取得勝利的情況下也沒有絲毫放松警惕。帶頭的夜襲隊長試探性地扔了個樹枝過去，日軍的封鎖火力十分稠密地向聲源處掃射，加上探照燈和照明彈照得陣地前如同白晝，不用說，是早有準備，而且是充分準備。夜襲隊終於無法突進，幾個人相望無言，搖搖頭，只好趁夜黑退了回來。
第三日天亮後，日軍一如前一天的老打法，向第二線發起進攻，但第84軍的戰鬥情況卻與昨日大不相同了。與第一線陣地不同，第二線陣地尚未來得及修築工事，只有一些散兵坑，既無戰壕進行掩蔽，更無交通溝可以運動。更加上古語雲的「一鼓作氣，再而衰，三而竭」，官兵的戰鬥意誌與之前已是無法相提並論了，更為嚴重的是恐慌心理，因為裝備技術上的差距，中國軍隊沒有空中掩護，在三維空間的戰場上已經構成了心理防禦的空虛。在前幾次的戰鬥中，日軍的飛機狂轟濫炸、氣球準確指引打擊目標，在戰士們心中形成了夢魘般的陰影，揮之不去，再戰時，官兵一看到日軍的飛機從頭頂飛過，日軍的大氣球升上半空，就好似敵入已站在自己頭頂上一樣，抵抗信心已經動搖。結果，日軍一進攻，部隊被迫步步後退。
剛進中午，第189師的一線部隊退到了師部所在地杜家垮附近。杜家垮也已受敵炮轟擊，接著，日軍的機關槍也掃射到大門口了，並且左翼敵軍已飛馳向高城，幾乎要截斷第189師的後路。
淩壓西趕緊叫來通訊兵：「快，給莫樹傑軍長打電話，請示轉進路線和而後集結地點。」
「報告師座，電話接不通。
「那給174師打電話，還有前線的部隊，看有沒有什麽指示。」淩壓西有些慌了神。
只好命令接近師部的第565團為後衛，率領師部向軍部所在地夏家垮撤退，然後隨軍部後沿桐柏山南側經劉家河、吳山店、鹿頭鎮、太平鎮向棗陽轉進。余部第566、567團和補充團則與第174師，沿襄花路經凈明鋪、唐縣鎮、唐王店、隨陽店至棗陽集中。
中國軍隊左右兩翼的部隊幾乎遭遇了和中央集團軍同樣的境地。
和日軍第3師團山脅正隆遭遇的第33軍和第68軍主力此刻已撤至唐河的西岸，借助之前殘破的河防稍稍喘息，之後和湯恩伯的總預備隊取得了聯系。湯部已接命令要與左翼軍團一起側擊敵軍，故而自原駐防地匆匆拔營，力圖趕在日軍進抵棗陽之前擊敵於半途。
此時的桐柏縣城裏，第30師的師長張華棠正在收攏部隊，經過前番的較量，他所駐防的陣地已被敵人攻占，他率部退回城裏，想要據城死守。看著頭上、胳膊上綁著繃帶的傷兵，有些還都是十幾歲的孩子，沾滿煙塵的臉上有倦容卻沒有半點懼意。他本想在城頭講幾句話鼓舞一下士氣，動員大家奮勇殺敵，可看此情景就再也不忍心說下去了。
是啊，日軍隨時可能追過來，如此醒目的城鎮，必成日軍飛機的轟炸重點，中國軍隊沒有像樣的防空武器，都是靠一些重機槍和高射炮在碰運氣，偶爾能擊落一架飛機，可日軍的炮彈一發打過來，都是死傷一片。加上現在的陣地已失守，張師長已經沒有了據城死守的本錢。驀地，他想起在一次中層以上軍官會議上講的戰略戰術，當陣地已失，我軍的武器裝備又不如敵人的時候，可由陣地戰轉為運動戰，在運動中殲敵，他也想起了副參謀長白崇禧講的「積小勝為大勝，以空間換時間」。眼下的城鎮正是可以用來打巷戰的好地方，南方的建築，可掩蔽的地方多，敵人的坦克和戰車又開不進來，我們可以找一些當地的老百姓幫助我們設計一些埋伏點，再設一些機關，不愁打不出個漂亮的伏擊戰。
5月6日，第3師團的輜重兵第3聯隊浩浩蕩蕩地開進桐柏縣城，騎兵第3聯隊的一部和石本支隊的一個步兵大隊同行並起保護作用。行至一處巷口，發現家家戶戶門窗緊閉，想是民眾都已逃散，卻又見一些居民房內隱隱飄出煙火。領頭的軍官一下警覺，一個果斷的手勢讓部隊停下。
但為時已晚，早已埋伏在兩旁的30師官兵借助窗戶、墻角等臨時攻擊點展開猛烈攻勢，無數條火舌從四面八方射來，織成了密密的火力網。「嘭！」一聲，日軍運糧的大卡車爆炸起火，翻倒在一邊，日軍正手忙腳亂準備找地方掩護，尋機反擊時，又見視窗扔出無數的燃燒瓶，官兵們用可以找到的瓶瓶罐罐自制了可燃燒、爆炸的土地雷、土炸彈、發煙彈，一時，戰馬受不了煙熏，嘶鳴著亂奔亂踢，將馬上的軍官重重摔在地上，然後不知向何處跑去。日軍情知中伏，連忙收攏部隊，相互掩護著向開闊地跑去，丟下一些找不著北的士兵和帶不走的輜重。
第2營的宋營長正打在興頭上，猛地發現手邊的手榴彈箱子不知什麽時候已經空了，加之日軍主力已退，不知何時會重整兵力殺將過來，自己這點人手根本不是對手，念在突襲已將敵心搞亂，也算完成了初步作戰計劃，於是恨恨地一揮手。「都不讓老子打痛快了！告訴兄弟們，準備撤！」
盡管打了幾個小規模的解氣仗，可6日晚，在桐柏縣城的一處破廟裏，張華棠師長清點了所剩的人員和裝備物資，還是覺得一陣淒涼，經過幾日的奮戰，加上被日軍空襲的損耗，全師已只剩下200多人，還有七八十條沒子彈的槍。連以上的軍官只剩下4個是戰初任命的，其余都是替補上陣的，匆匆的幾日戰鬥，已經任命了2個團長、7個營長，連以下不計其數。
「師座，據情報反映，今天來的是鬼子的先頭部隊，還有那運糧的車，估計最遲明天，大部隊就該開進來了，桐柏也是必經之地。您看······」
不等參謀說完，張師長閉上眼揮了揮手：「我們撤吧，留得青山在，不怕沒柴燒。」
7日，日軍攻陷桐柏縣城，張華棠率部撤向襄河方向，另一路日軍又攻陷唐河縣城，並向棗陽進發。
田中靜一的第13師團自擊潰了第33集團軍在長壽店的布防，也沒敢急進，因為根據情報，沿襄河一線以及大洪山中有國民黨軍的重兵把守，張自忠親自坐鎮。一方面，他很想面對面會會這個支那將軍，另一方面他對地形不熟，不敢貿然進攻。開戰之初，園部和一郎曾經跟他說過，支那軍沒有什麽了不起，除了他們的中央軍嫡系部隊裝備稍好一些，戰鬥力還行，其他的地方部隊都是些散兵遊勇，有些還是一手拿槍，一首抽大煙的「雙槍兵」，體力非常地弱，所以，他打心眼裏是瞧不起這支軍隊的，他告訴自己，臨沂被圍只是偶然的失誤，只要殺了這些支那軍人就可以一雪前恥了。
被日軍俘虜的國軍士兵
不過，現在還不是找這個支那軍官決鬥的時候，根據戰役部署，他必須盡快與另外兩線的部隊會合，以實作對棗陽的合圍，長壽店陣地已經消耗了一天的時間，再不抓緊時間，可能形不成包圍圈，反而讓支那軍溜了出去。於是田中在召集高參們詳細參研了地圖之後，決定盡可能避開封鎖堅固的陣地，選擇無重兵把守的地段前進穿插，同時，盡可能不打無準備、無必要的仗。
第33集團軍的主力在襄河以西，第29集團軍的部隊主力在大洪山附近，中間的長壽店、張家集、雙溝一線雖設立了防禦工事，卻沒有一支能打硬仗的隊伍，而且戰區司令長官部也下令不要死守一城一池，以殲滅敵有生力量為主，所以，在敵猛烈火炮攻擊之下，沿途守軍在抵抗之後紛紛撤出戰場，向棗陽地區集結。至8日，日軍先後攻占田家集、豐樂、張家集、雙溝、新野。
正當三路日軍分別解決了當面之抵抗力量，以快速機動向棗陽附近圍攻的時候，布置在三路大軍周圍的總預備隊和機動兵團開始發揮作用了。第31、第2集團軍和李仙洲的第92軍分路自洪河地區、南陽、確山等地向日軍側擊、尾追，日軍快速行軍，僅留少量部隊看守城鎮，鞏固防線陣地，此時被突如其來的兵力攻擊，一時慌了手腳。湯恩伯部自參戰以來一直在扮演著機而不動的「預備隊」角色，盡管軍部的電話天天響個不停，左翼軍團的部隊時時向他發出求救訊號，他卻能「任憑風乍起，穩坐釣魚台」。他在等，等一個既不費力，又能迅速建功的機會，就是當敵人的鋒芒掃過他的勢力範圍，他再從側背進攻的機會。長期擔任機動兵團的司令，湯恩伯對這類戰術有著非常深刻的了解，他不會因為救某支孤軍而置自己的軍隊於險地，否則，他的部隊不會征戰多年仍沒有太大缺編。
關鍵就在於他能把握出擊的時間。果然，機動兵團一出手，就連連克復了幾個關口，從日軍手中奪回了幾個陣地，8日收復唐河，9日收復新野，成果非常顯著，也正是因為如此，日本人對湯恩伯部隊的戰鬥力一直是非常忌憚的，總覺得他們是蔣介石的嫡系部隊，裝備一流，又有很多的戰果作光環，1937年先戰南口、再戰淞滬，1938年又戰徐州，與日作戰屢屢得手，湯之主力第31軍號稱常勝軍。據說當初日軍剛進攻的時候聽說湯恩伯的主力已到泌陽以北，園部就感到有些頭疼，於是他發出一份十萬火急電報給山脅正隆，通報了湯軍南下準備擊第3師團側翼的情況，又把石本旅團撥歸山脅指揮，要求山脅相機西進。山脅一接這份電報，比園部還要謹慎，當即令主力原地構築工事，準備和湯軍打一場陣地戰。誰知南下的湯恩伯兵團只對第3師團放了幾槍，就不見蹤影了。
山脅在泌陽小心翼翼呆了3天，見沒什麽威脅，才於5月7日晨下令繼續西進。不過話又說回來，湯恩伯的軍隊確實是收復了先前失去的陣地，使我軍的實際控制線大大推進了。
此時，第29集團軍王纘緒部也向敵之側背猛擊，第41軍孫震的部隊從雙溝附近主動出擊，以運動戰奮勇堵擊日軍北進。
然而，機動兵團和總預備隊的側擊、追擊只是在敵軍經過的途中進行了短暫的突擊，相機收復了一部份陣地和城池，並沒有抓到敵人的主力和消滅日軍的主要攻擊力量。至5月9日，三路日軍按照之前的戰鬥計劃已經相繼占領了泌陽、唐河、桐柏、高城、隨陽店、張家集和雙溝等城鎮，沿途又構築了一些新的軍事據點，分兵把守，構成了對棗陽的合圍之勢，曾經駐紮了十幾萬國民黨軍隊的軍事重鎮棗陽已是烏雲壓城城欲摧，但中國軍隊已經大部不在城中了。
