抗日战争全面爆发后不久，日寇就开始入侵山东，手握重兵的韩复榘为了保存实力拱手把山东让给了日本人。日寇占领山东后烧杀抢掠，无恶不作，沦陷区内的老百姓生活在了水深火热当中。为了反抗日寇的暴行，时任中共山东省委书记的黎玉挺身而出，组织了多次武装起义，并亲自领导了徂徕山起义。不久后黎玉又将各支起义队伍组织起来，成立了八路军山东纵队，兵力一度达到了两万多人。
虽然兵力不算少，但山东纵队的战士们大都是没有实战经验的农民，加上武器装备也比较有限，因此战斗力不是很强，被日寇称为“土八路”。为了尽快提高山东纵队的战斗力，黎玉决定向延安求助。1938年4月，他借汇报工作的机会，向毛主席提出了一个请求，希望总部能派一个主力团和一大批军事干部到山东，帮助山东纵队成长。
毛主席听后很痛快地就答应了黎玉的请求，并幽默地说：“给你们调派一个有名的红军将领，再派一支主力部队去，他们就不敢再叫你‘土八路’了。”一开始毛主席打算派罗炳辉前往山东，负责具体的军事指挥。但罗炳辉在新四军有多项重要职务，项英离不开他，毛主席只能另选他人。最后经过综合考虑，115师代师长陈光和政委罗荣桓被派往了山东。
陈光和罗荣桓都是中央红军出身的将领，陈光在红军时期多次担任师长，还担任过红一军团的代军团长，打仗是一把好手。罗荣桓是一名优秀的政工干部，参加过三湾改编，红军时期多次担任军团政治部主任。当时八路军115师已经被分成了三个部分，副师长聂荣臻带着杨成武的独立团前往华北敌后开辟抗日根据地，343旅和129师津浦支队合编成了八路军东进抗日挺进纵队。
因此陈光和罗荣桓奉命前往山东的时候，手中只有685团和686团，加上师部及后勤人员，总兵力也只有数千人。尽管兵力不算多，但这几千人大都是经过长征考验的老红军，战斗力极强。在陈光和罗荣桓的指挥下，115师挺进山东后接连打了好几个胜仗，很快就站稳了脚跟。此时在山东抗日根据地内，一共存在着三支八路军队伍，第一支是黎玉和张经武领导的八路军山东纵队，第二支是萧华领导的八路军东进抗日挺进纵队，第三支是陈光和罗荣桓领导的以115师为骨干组成的苏鲁豫抗日支队。
这三支队伍都有自己的活动区域，平时基本上都是各自为战，很少有战役和战略方面的配合，有被敌人各个击破的危险。为了更好地整合力量打击敌人，山东八路迫切需要一个掌舵人。黎玉是山东抗日根据地的开创者，在山东有很高的威望，但军事指挥不是他的长项，因此他不适合当这个掌舵人。陈光打仗是一把好手，也有一定的资历，但他是一个急脾气，而且初到山东，和山东纵队的指战员并不熟悉，在这种情况下，要他来指挥山东纵队也有一定的困难。
毛主席经过考虑后，将徐向前派到了山东，让他担任八路军第一纵队司令，统一指挥山东境内的八路军对日作战。不论资历还是能力，徐向前都足以服众，他上任后先是从115师抽调了大批经验丰富的干部，补充到了山东纵队，解决了山东纵队军事干部不足的问题；接着又从山东纵队抽调了一大批身强力壮的战士，补充到了115师，弥补了115师在战场上的损耗。
在徐向前的指挥下，山东八路军多次主动出击，取得了不俗的战果，初步打开了山东抗日根据地的新局面。就在形势向好发展的时候，徐向前于1940年的六月初返回延安参加七大，期间在一次骑马的时候发生了意外，骨折住院，短时期内无法再返回山东。这样一来，山东境内的八路军又群龙无首了，第一纵队的番号也很快取消。此时身为中共山东分局书记和山东军政委员会书记的朱瑞，在组织上成了山东抗日根据地领导班子的核心。
但朱瑞是一个留苏派，1930年才回国，而且红军时期没有担任过军事主官，因此他要领导115师有一定的困难。更重要的是，他和115师的代师长陈光关系紧张，二人曾经在桃峪高级干部会议上当众顶牛，为此朱瑞一度给延安发报，要求陈光和罗荣桓离职休养。在这种情况下，要让朱瑞出任山东八路的掌舵人显然是不太合适的。陈光的问题则更多，他不仅和朱瑞关系紧张，黎玉对他也颇有微词，说他打仗只会死打硬拼，在山东没有威望。
这样一来，由谁来掌舵山八路就成了难题。此时彭老总接连推荐了两位重量级人物，但毛主席都没有同意，这是为何呢？彭德怀推荐的第一位重量级人物是林彪。1940年7月18日，彭德怀给毛主席去电，建议“山东暂由陈、罗统一指挥，将来林彪去山东”。林彪是115师的师长，打仗没得说，让他去山东掌舵是一个不错的人选，但毛主席为何没有同意呢？
主要原因是林彪当时正在苏联养病，直到1942年的春季他才回国。当时山东的抗日形势并不是很乐观，日寇多次出动重兵对根据地进行残酷的“扫荡”。形势不等人，林彪虽然是一个很不错的人选，但战场形势却等不了，因此毛主席没有同意彭老总的建议。之后由于找不到合适的人选，山东根据地的掌舵人一直空着，根据地的军事由罗荣桓负责，党的组织工作由朱瑞负责，黎玉主持山东政府工作，陈光改为负责财经工作。
这种状况持续了一年时间，根据地的形势并未好转，为此彭老总又向毛主席推荐了一位重量级人物，他就是滕代远。1941年7月5日，彭老总给毛主席去电，建议滕代远前往山东，出任115师师长，统一指挥山东境内的八路军对日伪军作战。滕代远和彭老总一起领导过平江起义，红军时期担任过红三军团的政委和红一方面军的副总政委，获得过二等红星奖章。
不论资历还是能力，滕代远出任山东八路军的掌舵人都是合适的，但毛主席却没有同意，这是为何呢？当时滕代远是抗大总校的副校长兼副政委，同时还是中共北方局的常委，在此之前，他还担任过中央军委的参谋长。滕代远资历老、能力也强，抗大总校、延安和北方局都离不开他，他如果前往山东的话，留下的空缺很难找到合适的人来替代，因此毛主席才没有让他去山东，不久后滕代远就出任了八路军的参谋长。
彭德怀推荐的这两位重量级人物毛主席都没有同意，但山东八路又不能长时间没有掌舵人。最终经过综合衡量后，毛主席将陈光和朱瑞都调回了延安，把山东抗日根据地完全交给了罗荣桓管理。罗荣桓也确实没有辜负毛主席的期望，他成为山东八路的掌舵人后工作兢兢业业，把山东根据地打造成了当时全国最大的抗日根据地，并在抗战胜利后为四野和三野提供了大量的兵员和优秀将领。对罗荣桓在山东的工作，毛主席给予了极高的评价，称“山东只换上一个罗荣桓，全局的棋就下活了。”
