新四军第三师是由八路军第5纵队改编而来，八路军第5纵队下辖3个支队共编有9个团，原115师344旅政委黄克诚为司令员兼政委。
1941年改编为新四军第三师，最初下辖第7、8、9旅，不久第9旅与第四师第10旅对换建制。1944年9月，第7旅划归第四师指挥。1945年组第三师建独立旅，不久划归第七师指挥。
至抗战胜利后，第7旅、独立旅归建，至此第三师总共下辖第7、8、10旅及独立旅，加上其他部队总共有3.7万余人。
根据中央的命令，新四军第三师于1945年9月23日从苏北开赴东北。临行前，师长黄克诚对部队进行了必要的精简，实际出发兵力3.5万余人，包括4个旅及3个特务团。
经过近两个月的长途跋涉，在黄克诚的率领下，新四军第三师于同年11月底抵达了锦州以西。不久，第三师被编入新组建的东北人民自治军，由自治军总部直接指挥。
1946年初，东北人民自治军改称「东北民主联军」，黄克诚被任命为西满军区副司令员兼副政委，当时西满军区的司令员是吕正操。数月后，因吕正操调回民主联军负责后勤运输工作，黄克诚升任西满军区司令员。
新四军第三师的四个旅，除第7旅划归民主联军总部直接指挥外，其它三个旅均由西满军区指挥。
1946年7月，西满军区主力部队开始整编，其中由西满军区指挥的新四军第三师3个旅（第8旅、第10旅、独立旅）合编为东北民主联军第二纵队，由原第三师副师长刘震出任司令员。
不久划归给民主联军总部直接指挥的新四军第三师7旅与八路军山东军区第7师合编为东北民主联军第六纵队，由原115师陈光出任司令员，数月后由原新四军第三师副师长兼参谋长洪学智接任司令员。
而新四军第三师的3个特务团，特务第一团就是原三师师属特务团，特务第二团则是由原三师第8旅下辖的淮安独立团改编而来，特务第三团则由原三师第8旅下辖的阜宁独立团和阜东独立团合编而成。
1946年特务第一、二团均编入新成立的东北民主联军独立第六师（后改编为西满军区独立第三师），特务第三团则被改编为长农支队，不久又编入西满军区独立第一师。
1947年8月，西满军区的三个独立师合编为东北民主联军第七纵队，由邓华担任司令员。
除此以外，改编为东北野战军第十二纵队第36师的西满独立第五师是从新四军第三师师部及特务第三团抽调部分骨干为基础组建的。担任第十二纵队司令员的钟伟曾是第三师第10旅旅长。
而被黄克诚留在苏北地区的原第三师部队，盐阜军分区的地方武装后来编入了华东野战军第11纵队，淮海军分区的地方武装则编入了华东野战军第12纵队。
