新四軍第三師是由八路軍第5縱隊改編而來，八路軍第5縱隊下轄3個支隊共編有9個團，原115師344旅政委黃克誠為司令員兼政委。
1941年改編為新四軍第三師，最初下轄第7、8、9旅，不久第9旅與第四師第10旅對換建制。1944年9月，第7旅劃歸第四師指揮。1945年組第三師建獨立旅，不久劃歸第七師指揮。
至抗戰勝利後，第7旅、獨立旅歸建，至此第三師總共下轄第7、8、10旅及獨立旅，加上其他部隊總共有3.7萬余人。
根據中央的命令，新四軍第三師於1945年9月23日從蘇北開赴東北。臨行前，師長黃克誠對部隊進行了必要的精簡，實際出發兵力3.5萬余人，包括4個旅及3個特務團。
經過近兩個月的長途跋涉，在黃克誠的率領下，新四軍第三師於同年11月底抵達了錦州以西。不久，第三師被編入新組建的東北人民自治軍，由自治軍總部直接指揮。
1946年初，東北人民自治軍改稱「東北民主聯軍」，黃克誠被任命為西滿軍區副司令員兼副政委，當時西滿軍區的司令員是呂正操。數月後，因呂正操調回民主聯軍負責後勤運輸工作，黃克誠升任西滿軍區司令員。
新四軍第三師的四個旅，除第7旅劃歸民主聯軍總部直接指揮外，其它三個旅均由西滿軍區指揮。
1946年7月，西滿軍區主力部隊開始整編，其中由西滿軍區指揮的新四軍第三師3個旅（第8旅、第10旅、獨立旅）合編為東北民主聯軍第二縱隊，由原第三師副師長劉震出任司令員。
不久劃歸給民主聯軍總部直接指揮的新四軍第三師7旅與八路軍山東軍區第7師合編為東北民主聯軍第六縱隊，由原115師陳光出任司令員，數月後由原新四軍第三師副師長兼參謀長洪學智接任司令員。
而新四軍第三師的3個特務團，特務第一團就是原三師師屬特務團，特務第二團則是由原三師第8旅下轄的淮安獨立團改編而來，特務第三團則由原三師第8旅下轄的阜寧獨立團和阜東獨立團合編而成。
1946年特務第一、二團均編入新成立的東北民主聯軍獨立第六師（後改編為西滿軍區獨立第三師），特務第三團則被改編為長農支隊，不久又編入西滿軍區獨立第一師。
1947年8月，西滿軍區的三個獨立師合編為東北民主聯軍第七縱隊，由鄧華擔任司令員。
除此以外，改編為東北野戰軍第十二縱隊第36師的西滿獨立第五師是從新四軍第三師師部及特務第三團抽調部份骨幹為基礎組建的。擔任第十二縱隊司令員的鐘偉曾是第三師第10旅旅長。
而被黃克誠留在蘇北地區的原第三師部隊，鹽阜軍分區的地方武裝後來編入了華東野戰軍第11縱隊，淮海軍分區的地方武裝則編入了華東野戰軍第12縱隊。
