1940年6月初，时任八路军第一纵队司令的徐向前奉命返回延安，参加七大的筹备工作。期间他在一次骑马的时候发生了意外，受伤住院，短时期内无法返回山东。徐向前离开山东后，八路军第一纵队的番号名存实亡，山东纵队和115师又成了两支平行的武装，谁也无法领导谁。当时朱瑞是山东分局书记和山东军政委员会书记，在组织上是山东抗日根据地领导班子的核心。
但朱瑞是炮兵出身，1930年才从苏联回国，红军时期长期担任政委的职务，几乎没有直接指挥过大兵团作战。抗日战争全面爆发后，他在北方局担任组织部长兼军委书记，和115师也没有什么渊源。八路军第一纵队成立后，他才跟随徐向前来到山东，担任政委，后来又出任山东分局书记和山东军政委员会书记。缺乏直接指挥大兵团作战的经验，和115师也没有历史渊源，因此朱瑞要领导115师的话确实存在着不小的困难。
而且在不少问题上，朱瑞与陈光和罗荣桓都存在着分歧。1940年秋季，115师在桃峪召开高级干部会议，朱瑞也参加了。会议上，他以115师部分干部枪杀俘虏的南大顶事件为例，对115师提出了严厉的批评，说115师除了卫生之外，其他方面没有进步。陈光性子烈，不认可朱瑞对115师的评价，当场和他顶了起来，还拍了桌子。会后，朱瑞给延安去电，称115师在整军和根据地建设等方面处处落后松懈，并要求“陈、罗最好给予休养”。
为了维护团结，罗荣桓决心自己承担责任。他给延安去电，建议徐向前兼任115师的师长，朱瑞兼任政委，陈光为副师长，自己则离开山东去其他地方工作或者回延安学习。在电文的最后，罗荣桓写道“这是我向党第一次提出个人要求”。由此不难看出，当时他在工作中遇到了多大的困难。但当时徐向前已经另有安排，因此罗荣桓的建议没有被采纳，毛主席还在回电中对他进行了鼓励，要他安心工作。
陈光虽然资历很老，还担任过红一军团的代军团长，但他性子比较烈，与黎玉和朱瑞相处的都不是很愉快，因此当时他虽然是115师的代师长，但却没有办法领导山东纵队。日寇也在此时加大了对山东抗日根据地的进攻力度，1940年全年就发起了29次大规模的“扫荡”。在这种情况下，山东八路军急需选出一个掌舵人，来统一指挥山东纵队和115师对日作战。
但当时山东八路存在着多个山头，由谁来掌舵短时间内很难决定。由于没有统一的领导，山东抗日根据地的反扫荡工作进行的格外艰难。到1941年的时候，日寇对山东抗日根据地的进攻更加频繁，年底的时候更是出动了5万重兵对沂蒙山区进行了大“扫荡”。由于缺乏统一的指挥和配合，根据地在这次反“扫荡”中遭受了不小的损失，到了非常困难的地步。
如果再不解决统一指挥的问题，根据地都有无法坚持的可能。当时少奇同志正准备从华中返回延安，毛主席特意给他去电，让他途中专门去一趟山东，进行实地调查，并为山东八路军的掌舵人选提供建议。少奇同志到达山东后，立即开始了紧张的工作，他和朱瑞、罗荣桓、陈光、黎玉等人分别进行了长谈，还多次进行了实地调研。最后少奇同志认为不论陈光还是朱瑞，都不适合当山东八路军的掌舵人。
黎玉是山东抗日根据地的主要创建人之一，担任过山东纵队的政委，在山东有很高的威望。他对陈光的评价不是很高，称陈“战术上动不动就下死命令攻坚固碉堡，造成部队重大伤亡。”认为这是“硬拼主意”。他在给延安去电时曾建议：“陈光可回延安。陈身体弱，同时亦愿意在延学习，更可培养将来。”同时陈光和朱瑞相处得也比较紧张。少奇同志掌握了这些情况后，认为陈光不适合当山东八路军的掌舵人。
而朱瑞虽然职务很高，但他在工作中也存在一些不足的地方。比如黎玉就认为山东分局在反“扫荡”期间，迟迟不进行二五减租减息，根据地内老百姓的负担没有得到减轻，并因此造成了青壮年参军的积极性不高，给兵员补充带来了很大的困难。当时主持山东分局工作的正是朱瑞。少奇同志也掌握了这些情况，在给延安的报告中他说道：“山东分局主要负责同志应对在执行中央政策、发动群众、减租减息和锄奸政策等方面负有领导不力的责任。”
不久后中央书记处给朱瑞来电，指出了他的弱点：“在全盘领导上，对中央指示不重视、不讨论，对政策掌握差”；“在个人领导上的弱点是不善于团结全体领导干部，不善于推动组织去进行工作。”这样一来，朱瑞就无法出任山东八路军的掌舵人了。而黎玉虽然在创建山东抗日根据地的过程中起了很大的作用，但他在军中的资历太浅，缺乏指挥大兵团作战的经验，因此也无法担任山东八路军的掌舵人。
此时罗荣桓就成了主要的候选人，黎玉对罗荣桓的评价也很高。黎玉军事指挥经验比较缺乏，同时还存在着一定的主观主义和山头主义，在一些问题上和115师也有分歧。罗荣桓为了和他交换意见，不顾途中和日寇遭遇的危险，从鲁南来到沂蒙山找黎玉。此举令黎玉十分感动。而且罗荣桓在和黎玉沟通时从不说教，很讲究工作方法。
少奇同志经过详细了解后，认为罗荣桓是山东八路军掌舵人的最佳人选。毛主席对罗荣桓也十分了解，早在三湾改编的时候二人就已经相识了。红军时期，罗荣桓多次担任要职，毛主席对他的工作能力十分赞赏。最终毛主席决定将陈光和朱瑞调回延安，扶正罗荣桓。罗荣桓成为山东八路军的掌舵人后，采取了许多行之有效的办法，山东根据地在他的带领下成为当时全国最大的抗日根据地。毛主席对此给出了很高的评价，称“山东只换上一个罗荣桓，全局的棋就下活了。”
