1937年卢沟桥抗战开始后，蒋介石虽希望红军早日参战，但仍在红军改编后的指挥和人事问题上设置各种障碍，不肯承认红军的独立地位。共产党方面当然无法接受。
7月15日，周恩来致函蒋介石，指出：“华北炮火正浓，国内问题更应迅速解决，其最急者为苏区改制与红军改编之具体实施。”但如绝对限制共产党对红军的指挥权，“不仅事难做通”，且“恐碍此后各事之进行。
8月13日，日军向上海发动进攻，淞沪抗战爆发，华北战局更为危急。蒋介石急欲调动红军开赴抗日前线，不得不放弃原来对红军的无理要求。中共方面在坚持对红军的领导和实行独立自主的原则下，也作了某些让步，如取消政治委员制，师政治部改为政训处等。8月22日，国民政府军事委员会发布将红军改编为国民革命军第八路军的命令，并任命朱德、彭德怀为正、副总指挥。
八路军不等改编完全就绪，就开始向抗日前线开拔。8月22日，八路军第115师主力作为抗日的先遣队，第一批从陕西三原出发，经韩城县芝川镇渡黄河，沿同蒲路北上。
八路军开赴抗日前线前夕，朱德和彭德怀率全体指战员分别发告西北同胞、全国同胞和友军书，申明：“为了国家，为了民族，为了使西北兄弟姊妹不作亡国奴，敝军要走上抗日前线去。要以我们的头颅和热血把日本强盗赶出中国，把汉奸铲除干净，那时我们再回来与我们亲爱的父老兄弟姊妹相见，过快活的太平日子。”这是八路军将士的心声。
“我们改名为国民革命军，受命上前线去。我们抱定了最大的决心，要为民族的生存流到最后一滴血，不把日本帝国主义赶出中国，不把汉奸卖国贼完全肃清，决不停止。”这是中华儿女的的决心。
“我们和你们同是黄帝子孙，同是中华军人，同是患难中的朋友。我们的敌人只有一个——日本帝国主义。我们要胜利，要不做亡国奴，只有亲密团结起来，结成铁的长城。8月25日，中共中央军委发布命令，中国红军改编为八路军，朱德任总指挥，彭德怀任副总指挥，叶剑英任参谋长，左权任副参谋长，任弼时任政治部主任，邓小平任政治部副主任。下辖第115、第120、第129师共3个师，全军编制共4.5万余人。9月12日，国民政府军事委员会将八路军番号改为第18集团军，但习惯上仍称八路军。10月，中共中央决定恢复政治委员制度，并将师政训处改称政治部。
在全国抗战爆发的新形势下，为了加强对军队的绝对领导，中共中央政治局洛川会议决定成立中共中央革命军事委员会即中央军委，由毛泽东、朱德、周恩来、彭德怀、任弼时、叶剑英、林彪、贺龙、刘伯承、张浩、徐向前组成，毛泽东为主席，朱德、周恩来为副主席（后增选王稼祥为副主席）负责领导全军的军事、政治和党务工作。萧劲光为参谋长（后为滕代远），杨尚昆为秘书长，聂鹤亭为总参谋部部长，协助军委处理日常工作。
在陕北的红军改编为八路军后，中共中央8月29日决定设立中央军委华北分会，负责领导八路军的前方事务。分会由朱德、彭德怀、任弼时、张浩、林彪、聂荣臻、贺龙、刘伯承、关向应组成，朱德为书记，彭德怀为副书记。
9月6日，八路军总部在陕西泾阳云阳镇召开出师抗日誓师大会。八路军总政治部副主任邓小平主持会议，总司令朱德领诵《八路军出师抗日誓词》：“日本帝国主义，是中华民族的死敌，它要亡我国家，灭我种族，杀害我们父母兄弟，奸淫我们母妻姐妹，烧我们的庄稼房屋，毁我们的耕具牲口。为了民族，为了国家，为了同胞，为了子孙，我们只有抗战到底。
誓师大会结束后，朱德随八路军总部向华北前线挺进。毛泽东则坐镇延安，指挥全局。
八路军第115师是由红一方面军第1军团的第1、第2、第4师和红军第15军团的第73、第74、第75、第78师组成，师长林彪，副师长聂荣臻，参谋长周昆，政训处主任罗荣桓，副主任萧华。下辖两个旅（各旅两个团）：第343旅，旅长陈光，副旅长周建屏，萧华兼任政治委员，孙毅任参谋长（后陈士榘）；第344旅，旅长徐海东，政治委员黄克诚，卢绍武参谋长。还有师独立团、炮兵营、辎重营、骑兵营、工兵营及教导大队（后改为随营学校）各一个。全师共有兵力1.5万余人。
中共中央决定恢复政治委员制度后，聂荣臻任第115师政治委员，罗荣桓任政治部主任。师军政委员会由林彪、聂荣臻、罗荣桓、周昆、萧华组成，林彪为书记。第115师主力东渡黄河，挺进晋东北抗日前线后，取得平型关等一系列战斗的胜利。到1943年春，共战斗3840余次，歼灭日、伪军18.2万余人。以后，部队又进行艰苦卓绝的反“扫荡”、反“蚕食”斗争，参加攻势作战和大反攻。
八路军第120师是由红二方面军第2、第6军团，陕北红军第27、第28军，独立第1、第2师，赤水警卫营及总部直属队一部所组成，师长贺龙，副师长萧克，参谋长周士第，政训处主任关向应，副主任甘泗淇。下辖两个旅（各旅两个团）：第358旅，旅长张宗逊，副旅长李井泉，参谋长姚喆；第359旅，旅长陈伯钧、副旅长王震，参谋长唐子奇。还有1个教导团、特务营、炮兵营、辎重营、工兵营、通讯营等。全师共有兵力1.4万余人。
中共中央决定恢复政治委员制度后，关向应任第120师政治委员，甘泗淇任政治部主任。师军政委员会由贺龙、关向应、萧克、甘泗淇、王震组成，贺龙任书记。第120师主力于9月3日东渡黄河，挺进晋西北地区，开展敌后游击战争，创建抗日根据地。在抗日战争中，第120师和晋绥军区作战近2万次，消灭日、伪军12万余人，建立了晋绥抗日根据地。还协同晋察冀军区部队开辟恒山区，加强平西区，巩固冀中区，保卫陕甘宁边区，等等。
八路军第129师由红四方面军第4、第31军，陕北红军第29、第30军和4个独立团及第15军团骑兵团等部改编而成。师长刘伯承、副师长徐向前，参谋长倪志亮（后李达），政训处主任张浩。下辖第385、第386旅（各旅2个团）：第385旅，旅长王宏坤，副旅长王维舟，参谋长耿飚；第386旅，旅长陈赓，副旅长陈再道，参谋长李聚奎。还有教导团及骑兵、炮兵、工兵、辎重、特务营等。全师共1.3万余人。
中共中央决定恢复政治委员制度后，张浩任政治委员（邓小平1938年1月接任）。师军政委员会由刘伯承、张浩、徐向前、陈赓、王宏坤组成，刘伯承任书记。第129师在陕西富平县完成改编后，于9月30日东渡黄河，开赴山西抗日前线。抗战中，第129师共歼灭日、伪军42万余人，解放县城109座，创建了面积达18万平方公里、人口达2400万的晋冀鲁豫解放区。
全国抗战开始后，阎锡山看到山西原来的军队（通称山西旧军）在日军进攻面前战斗力很弱，急欲扩充实力，图保山西。在山西开展统战工作的中国共产党人薄一波向阎锡山提议组建新的军队，通称山西新军。阎锡山同意先试建1个总队（团），并定名为“山西青年抗敌决死队”，简称决死队。8月1日，决死队正式成立，各级军事指挥职务由阎锡山派旧军官担任，政治委员和政治工作干部绝大部分是共产党员。9月间，决死队发展为4个总队。后来发展为4个纵队（旅）。
除决死队外，山西还成立了工人武装自卫纵队、政治保卫旅和暂编第1师等新军武装。到1939年12月，山西新军共有50个团（其中46个正规团），总兵力约5万多人，新军中普遍建立了共产党组织。新军在建制上属于阎锡山军队系统，但它是中国共产党领导的人民抗日武装力量。这是一种特殊的统一战线形式。
八路军开赴抗日前线时，山西新军同八路军互相支持、互相配合，在发展和坚持山西及华北的抗日游击战争中发挥了重要作用。1940年春，山西新军在八路军的配合下，粉碎了阎锡山发动的十二月事变，实际上加入了八路军的战斗序列。
按照中共中央部署，到11月8日太原失守前后，八路军第115师依托五台山建立了晋东北的战略支点；第120师依托管涔山建立了晋西北的战略支点；第129师依托太行山建立了晋东南的战略支点。到1938年春，第115师一部又依托吕梁山建立了晋西南的战略支点。这样，八路军就在山西省的晋东北、晋西北、晋东南、晋西南四个角为开创华北敌后游击战争、建立抗日根据地创造了前进阵地，实现了从运动战向游击战的战略转变。
八路军麈战华北之时，新四军也在华中抗战的烽火中诞生。以后，华中抗战就和新四军这个英雄的名字紧紧地联系在一起。
全国抗战开始后，中共中央于1937年8月1日发出《关于南方游击区域工作的指示》，分析了抗日战争开始以后的国内形势，对取消苏维埃制度、停止没收地主土地、改变红军番号和加强党的组织与群众工作等作了原则说明，要求红军和游击队中较大的部队与就近的国民党政府驻军或地方政府进行合作谈判。项英根据中央指示，将赣粤边的红军游击队改名为赣南人民抗日义勇军，并开始与国民党地方当局接洽谈判。
8月中旬，国民党答应中共可派人到南方各游击区传达中共中央的指示和协助红军游击队改编。周恩来等中共代表在南京同国民党代表谈判中达成协议，改编南方湘、赣、闽、粤、浙、鄂、豫、皖8省13个地区的红军和游击队（不含海南岛琼崖地区）。改编后的南方游击队编为国民革命军新编第四军，简称新四军。周恩来曾于8月在上海会见叶挺，请他出面改编南方游击队。叶挺欣然同意。9月28日，国民政府军事委员会铨叙厅发出通报：“任命叶挺为新编第四军军长。”
后经中共中央提名，国民政府军事委员会核定，先后任命项英为新四军副军长，袁国平为政治部主任，周子昆为副参谋长，邓子恢为政治部副主任。南方红军改编为新四军后，中共中央决定成立中共中央军委新四军分会，负责领导新四军的事务，并任命项英为书记，陈毅为副书记。
叶挺被任命为新四军军长后，到延安同毛泽东等商议具体改编事宜。毛泽东在抗大礼堂主持了欢迎叶挺的大会并讲话：“我们今天为什么欢迎叶挺将军呢？因为他是北伐名将，因为他愿意担任我们新四军军长，因为他赞成我党的抗日民族统一战线的政策，所以我们欢迎他。”
叶挺的心情也非常激动。他说：“同志们欢迎我，实在不敢当。革命好比爬山，许多同志不怕山高，不怕路难，一直向上走。我有一段爬到半山腰又折回去了，现在又跟了上来。今后，一定遵照党所指示的道路走，在党和毛主席正确领导下，坚持抗战到底。”
欢迎会后，毛泽东和叶挺多次交谈。毛泽东对叶挺在北伐战争和南昌、广州起义中建立的历史功勋给予高度评价。叶挺表示对党的路线政策的充分理解，愿意合作抗日。叶挺同意毛泽东介绍的关于新四军编制的方案。他“请党中央多派一些得力的干部，加强新四军的工作”。毛泽东希望叶挺据此方案向蒋介石本人和国民党军委会方面多作争取工作，同时还要向南京提出将陕北部队增编一个师。叶挺表示一定照毛泽东的要求尽力去做。
叶挺从延安回到汉口后，四处奔走，多方联系，着手筹建军部，改编部队。项英11月7日到延安和叶挺一起商谈了新四军组建问题，接着又向中央汇报了关于南方三年游击战争的情况和经验教训。12月23日，项英到达武汉，同叶挺、张云逸等听取部分红军游击区领导人的汇报，研究集中、组编的具体实施办法。
12月25日，新四军干部大会在湖北汉口召开，叶挺、项英等新四军主要领导人及部分游击区的领导人傅秋涛等，中央派来新四军工作的第一批干部赖传珠、李子芳等，叶挺动员来新四军工作的朱克靖、叶辅平、沈其震等，共50多人出席会议。会上，叶挺和项英就抗战形势和新四军的任务讲了话。此次会议标志着新四军军部的成立。
1938年初，新四军军部迁往江西南昌三眼井。项英和陈毅、张云逸、曾山等分头同各游击区联络，传达中共中央关于国共合作抗日和部队组编工作的指示，动员各部队迅速集结。实施编组后的南方各省红军游击队编为新四军的4个支队，10个团，1个特务营，共1.03万余人，6200多支枪。
新四军第1支队成立于1938年春，司令员陈毅，副司令员傅秋涛，参谋长胡发坚，政治部主任刘炎。下辖第1、第2团。第1团由湘鄂赣边红军游击队编成，团长傅秋涛兼，副团长江渭清，参谋长王怀生，政治主任钟期光。第2团由湘赣边、粤赣边、皖浙赣边等地红军游击队编成，团长张正坤，副团长刘培善，参谋长王必成，政治主任萧国生。全支队共2300余人。1938年3月，该支队在皖南歙县岩寺集结完毕。
新四军第2支队也于1938年春编成，张鼎丞任司令员，副司令员粟裕，参谋长罗忠毅，政治部主任王集成，辖第3、第4团。第3团由闽南、闽赣边等地的红军游击队编成，团长黄火星，参谋长熊梦辉，政治主任钟国楚。第4团由闽西、闽南、浙南等地的红军游击队编成，团长卢胜，参谋长王胜，政治主任廖海涛。全支队共1800余人，1938年4月在皖南歙县岩寺集结完毕。
新四军第3支队的司令员由张云逸兼任，副司令员谭震林，参谋长赵凌波，政治部主任胡荣，辖第5、第6团。第5团由闽北红军游击队编成，团长饶守坤，参谋长桂逢洲，政治主任刘文学；第6团由闽东红军游击队编成，团长叶飞，参谋长黄元庆，政治主任阮英平。全支队共约2100余人，1938年3月到皖南岩寺集中。
新四军第4支队，司令员高敬亭，副司令员戴季英，参谋长林维先，政治部主任萧望东。辖第7、第8、第9团和手枪团。第7、第9团和手枪团由鄂豫皖边红28军余部编成。第7团团长杨克志，政委曹玉福；第9团团长顾士多，政委高志荣；手枪团团长詹仕雨，政委汪少川；第8团由豫南红军游击队编成，团长周骏鸣，政委林凯。全支队共约3000余人，1938年2月在皖西霍山流波疃会合后，东进皖中。
新四军人数不多，武器装备落后，但绝大部分人员是经过艰苦卓绝的南方三年游击战争保存下来的骨干和精英，还有一部分是中央派来的长征干部。新四军成立后，分别向苏南、皖南、皖中敌后挺进，在抗日战争的烽火中从小到大，从弱到强，逐步发展成为华中地区坚持敌后抗战的主力军。
