甲子山这块心病终于除掉了。但是，罗荣桓却因操劳过度，身患重病。原先罗荣桓就有很重的痔疮，由于经常便血，有时甚至大量出血，身体渐渐虚弱。医生一再劝告他注意休息，但是在紧张的战斗生活中，哪里闲得住。他从师部赶到甲子山前线的那天，快马加鞭跑了大半天，路上没顾上吃饭、喝水，到了前线又夜以继日地参加指挥战斗。打下甲子山回到师部，接着开会总结，一连十几天，没有得到很好的休息。罗荣桓觉得腰酸腿痛，以为是疲劳的缘故，一开始没有在意。
有一天晚上，罗荣桓从屋里出来解手，林月琴替他打着手电筒。那天大雪刚过，她突然发现雪地上一片红色。林月琴赶忙去请医生。医生拿来瓶子，让他留一些尿。尿的颜色仍然是红的，过了一会还可以看到血块。卫生部的领导人谷广善等都闻讯赶来，劝罗荣桓卧床休息，停止吃辣椒，服用叫“大健凰”的消炎药片。在缺医少药的敌后，这就是最好的药了。
服药、停吃辣椒，罗荣桓都做到了，只是卧床休息却难以照办，因为他还要出席总结甲子山战斗的会议。他安慰大家说：“我的病不要紧，只是腰有些疼，过两三天就会好的。”可是，几个两三天过去了，罗荣桓仍然天天尿血，一直持续了一个多月。他的脸色焦黄，人也消瘦了。透过眼镜片，可以看到他的眼窝已经凹陷了下去，但是他依然那样安详、镇定。每天，照常批阅文电，凡是需要他参加的会议，他总是坚持参加。在行军转移时，罗荣桓体力不支，不得不听从同志们的劝告上了担架。有一天，他和担架班的战士拉起家常，当他听说抬担架的都是从老六团（即六八六团）来的，有的还是红军战士时，马上挣扎着起来，非要从担架上下来不可。他对大家说：“你们都是部队的骨干，可以以一当十，你们几个人就等于一个连的战斗力，你们赶快回去参加战斗，我还是骑马。”他强撑着骑上马，坚持到达目的地。
一九四三年一月间，他抱病写成《坚持我们的边沿游击区》。文章开头就说：“接近胜利的难关、拂晓前的黑暗，是要我们用最大努力才能渡过和克服的。”这段话，既是对在山东工作的广大干部和指战员的激励，也是他的自勉。他打算忍受病痛，尽力坚持下去。但是，他的病却越来越严重了。朱瑞、陈光、肖华等商量后，便发电报向中共中央报告了他的病情。
这时，中共中央正准备让罗荣桓担负山东根据地党政军民一元化领导的重任。此事酝酿已久。刘少奇返回延安向中共中央报告了山东情况后，中央即决定调整山东的领导班子。毛泽东曾就此征求了在延安的杨勇等山东干部的意见，并与在太行的彭德怀进行了反复磋商。
罗荣桓得知中央这一打算时，病情已很严重。他担心自己不能胜任，于三月十一日致电中央，要求准许他休养半年。但中央决心已定。十二日，毛泽东、朱德复电：“你的病如果还不是很严重，暂时很难休息。”同时，根据中共中央《关于统一抗日根据地党的领导及调整各组织间的关系的决定》的精神，决定在山东抗日根据地实行党的一元化领导，成立新的山东军区，任命罗荣桓为山东军区司令员兼政治委员，第一一五师政治委员兼代师长。从此，在山东建立了统一的军事领导中心，解决了武装部队统一指挥的问题。在敌后，主要任务是军事斗争。军事领导统一了，山东的局面也随之发生了明显的变化。
实践是检验一个干部的试金石。罗荣桓在山东四年多来的工作，充分证明了他贯彻执行中央路线方针政策的坚定性，也充分表现了他的理论联系实际，密切联系群众和善于团结干部的优良作风。因此，中央军委和集总几经考虑和商讨后，决定在山东的军事指挥上，委罗荣桓以统一领导的重任。前一一五师代师长陈光奉命赴延安参加党的第七次全国代表大会，临行前，他曾经诚恳、坦率地对身边工作的战友们说：“几年来的实践证明，罗荣桓同志是正确的，希望你们今后在他的领导下，搞好团结，好好工作。”此时罗荣桓自然不能再提休养的事，他忍受着病痛，挑起了重担。工作千头万绪，而当务之急是搞好精兵简政。
早在一九四二年，山东八路军各部队即根据中共中央指示，两次进行精兵简政。然而由于存在两个指挥系统，精简并不彻底。因此，在实行了一元化领导之后又进行了第三次比较彻底的精简。精简整编的中心，主要是解决以主力部队地方化为重点的统一军事领导问题。
三月八日，召开了军区机关干部大会，进行关于精简机构和统一领导的动员。随后，原山东军区（山纵）与第一一五师的各直属机关即实行合并，改为新的山东军区。以现在分局机关为基础，成立分局委员办公厅，同司令部合并为一个行政管理单位。朱瑞、罗荣桓、黎玉等领导人均在一起办公。
主力部队全部地方化后，新的山东军区辖鲁南、鲁中、胶东、清河、冀鲁边、滨海六个军区，各军区共辖十六个军分区，十三个兵员充实、领导坚强的主力团，分属各军区（滨海：第四团、六团、十三团；鲁中：第一团、二团、四团；胶东：第十三团、十四团、十六团；鲁南：第三团、五团；清河：直属团；山东军区直辖特务团）。其余部队分别编为军分区、县、区地方武装。
罗荣桓等按照新老干部相结合的原则，经过慎重考虑，提出了各区主要领导干部配备的名单。三月十一日，经中央书记处复电批准，以后在四至九月又作了调整。
山东军区各区主要领导干部是：
胶东军区司令员许世友，区党委书记兼政委林浩；冀鲁边军区司令员黄骅，区党委书记兼政委王卓如；清河军区司令员杨国夫，区党委书记兼政委景晓村；鲁中军区司令员王建安，区党委书记兼政委罗舜初；鲁南军区司令员张光中，区党委书记兼政委王麓水；滨海军区司令员陈士榘，区党委书记兼政委符竹庭。
在使用干部上，罗荣桓历来主张搞五湖四海，坚持任人唯贤。他对拉山头、搞宗派深恶痛绝。他对干部一视同仁，不分亲疏。他胸怀宽广，不仅能团结和自己意见相同的人，而且能团结和自己意见不同的人。他经常讲：干革命团结的人越多越好，不能搞一朝天子一朝臣。在一次会议上，他很透彻地谈到这个问题。他说：“如果因为个人的熟悉不熟悉，决定使用与不使用，领导者就不会使用大量的干部，容纳大量的干部，只是在熟人的小集团中去打圈子，领导者要变动工作就想到把熟人也来一个搬家，必然会造成个人的干部政策倾向。”他还说：如果以合乎个人口味来说，那么能够使用的干部就少得可怜了，甚至可能用些庸俗的吹牛拍马钻营的角色了①〔罗荣桓：《在山东军区军事工作会议上的报告》〕。
在这次精简整编中，罗荣桓十分注意使新老干部、主力军与地方军之间的干部互相交流、加强团结。他认为，红军干部经过长期锻炼，十分可贵，但数量很少。而本地生长起来的干部，与当地人民群众有着极为密切的血肉联系，熟悉本地斗争的历史状况，在群众中享有一定的威望。所以在整编中，罗荣桓安排了大批本地干部做领导工作。如林浩、景晓村、张光中等都是各区的领导人。在红军干部中，罗荣桓对红一、二、四方面军的干部也一视同仁。各军区负责人中一、二、四方面军的干部都有。罗荣桓充分信赖这些干部，并在实际工作中充分发挥了他们的作用。
在这次整编中，旅缩编为团，一部分团缩编为营，一部分营缩编为连……多余出许多干部。对这批干部，罗荣桓除将老弱病残交地方妥善安置外，对骨干均予保留。有很多干部被降级使用，去充实基层，有的班排长去当战士，使基层干部质量和部队的战斗力都有了很大的提高。罗荣桓说：“这样做，干部可能有点思想问题，总认为没有犯错误，为什么降级使用？我们应该帮助他们正确认识这个问题。”罗荣桓亲自找梁兴初、罗华生、曾国华几位由旅级降为团级的干部谈话，要他们从当时斗争的需要出发，从部队的长远发展来看问题。虽然他们当时对此理解并不深，但出于对罗荣桓的信任和爱戴，都愉快地接受了新的任命。直到日本投降以后，以这些保留下来的骨干为酵母，山东一下子就拉起了八个师，这些干部回过头来才认识到罗荣桓在精简整编中保留骨干的深远意义。
在整编中，新的山东军区还把抗大第一分校和第一一五师教导大队合编为教导团，由袁仲贤（后为曾国华）任团长，梁必业任政治委员。在胶东的抗大支校改编为教导第二团。
教导团共办三期，第三期下设三个大队。原训练连排干部的大队编为第一大队；将原分校中知识分子学员分配到部队，把部队中有实战经验而文化水平较低的老战士、班长调进教导团，编为第二大队，亦称文化大队，着重进行文化训练；招收初中毕业生入伍，编为第三大队，亦称特科大队，准备培养工兵、炮兵等特种兵。这个大队的学员后来到了东北，很多人成为各军兵种的骨干。解放军空军部队中的林虎、徐登昆、张积慧等英雄人物均出自这个大队。
罗荣桓要求，教导团不仅要搞训练，而且要参加实战，要把从军训、实战、作风养成到健全生活制度都当作培养干部的环节。
罗荣桓在整编中重点建设教导团并着手培养特种兵人才，同样是着眼于战后的具有深远意义的措施。
此外，山东军区在整编中，还抽调了大批部队干部到地方武装工作，以加强对地方武装的领导与建设。
实行主力部队地方化，加强了一元化领导，增强了部队之间、军队与地方之间的团结，减少了领导层次，精简了机关，提高了部队的战斗力，对于转变山东的斗争形势有很大作用。同时，主力部队地方化后，与人民关系密切了，更容易发展壮大。实践证明，这是一条在游击战争中发展军事力量的正确途径，为以后部队的大发展奠定了坚实的基础。
三个月过去了，罗荣桓继续尿血。他究竟得的是什么病，由于敌后医疗条件差，仍做不出明确诊断。新四军代军长陈毅知道罗荣桓病了，拍电报给中共中央，建议让罗荣桓来新四军治病。他说，新四军里有位奥地利的泌尿科专家，名叫罗生特，医术很高明。于是，经集总、军委批准，罗荣桓决定到华中新四军去治病。
四月间，罗荣桓在原一一五师的卫生部长谷广善和林月琴等陪同下，从滨海驻地出发，越过陇海路，经过苏北的淮海区、盐阜区到淮北区，然后渡过洪泽湖，于五月二十八日到达驻在淮南区盱眙县东南黄花塘的新四军军部。
陈毅代军长立即风尘仆仆从前线赶回来。当天晚上，他请罗荣桓和林月琴吃了一顿小笼汤包。五月三十一日，新四军军部召开了欢迎会，晚间演了戏。由于军务缠身，陈毅把罗荣桓治病的事安排好后，又返回前线。
这次罗荣桓来新四军，一路上还见到了黄克诚、彭雪枫、赖传珠、张爱萍、钟伟、王东保等老战友。罗荣桓同他们一起回忆往事，缅怀先烈，往往兴奋得忘记了自己的病痛。但大家看到他憔悴的病容，又不忍心过于打扰他，妨碍他的休息。
罗荣桓到达后，罗生特便对他进行全面的身体检查。为了弄清楚是膀胱还是肾脏出血，需要作一次膀胱镜检查。当时没有麻醉剂，做这样的检查是非常痛苦的。罗生特面有难色。
罗荣桓象是猜透了他的心思，对站在一边的翻译说：“请转告罗生特大夫，我是专程来请他治病的，他要怎么检查、治疗，就放心大胆地进行吧。”当翻译转告罗生特后，罗生特立即高兴地点了点头，然后用膀胱镜给罗荣桓进行检查。
当时的膀胱镜是金属制作的，检查时尿道内壁不可避免地会被擦破，当用稀释的硝酸银溶液冲洗膀胱时，刺激擦破的伤口，便会钻心地疼痛。可是，罗荣桓却以坚强的意志，忍住剧痛，不吭一声。他还用坚定的目光来宽慰和鼓励身旁的医护人员，仿佛告诉人们：不要替他担忧，他是能够挺得住的。其实，在场的人员从他额头上渗出的豆大的汗珠，以及整个身躯发出阵阵轻微的痉挛中，早已看出他在忍受着巨大的痛苦。罗生特和在场的人员无不为之感动。罗生特一面细心地操作，尽量减轻罗荣桓的痛苦，一面不住地用不熟练的中国话叨咕：“马上就好，马上就好。”
检查结果，膀胱本身并无病变。于是罗生特又给罗荣桓作了靛胭紫的静脉注射，以检查肾功能。结果查明了罗荣桓左右两侧的肾脏都有病变。但这种病变究竟是肾肿瘤还是多囊肾，由于当时没有X光机，无法再作进一步检查，罗生特大夫只好决定暂且进行保守治疗。
为了让他能够安静地休养，新四军的领导特意把他安排在一个环境幽静的地方。在一片水稻田和芦苇丛中，是几间桑竹掩映的新茅屋。在这里听不到枪炮声，听到的是鹊噪蝉鸣、蛙声一片。可是，罗荣桓却一心牵挂着山东战局，他无心静养，六月二十日便踏上归程。
在路上，罗荣桓对守护在担架旁的林月琴说：“我要订一个五年计划，争取再活五年，打败日寇，死也瞑目了。”林月琴抑制着自己的焦虑心情，安慰他说：“你的计划一定能够实现，将来革命胜利了，就有条件把病治好了。”“是吗？”罗荣桓微微一笑，没有再说什么。
秋后，陈毅又专门派在北京协和医学院毕业的专家黄农（后改名王雨田），陪同罗生特到山东为罗荣桓治病。
罗生特身材高大，性格开朗活泼。在新四军时，常同性格同样十分豪爽的陈毅、彭雪枫拊掌而谈，有时还拍拍肩膀，开几句玩笑。罗生特认识罗荣桓后，发现他的性格同陈、彭完全不同。他沉静含蓄，但又十分平易近人。罗生特同他交谈时，他往往是听得多，说得少，而每次说话又都是言简意赅。
罗生特还喜欢了解一些中国革命将领的经历。到山东后，他对罗荣桓进行“采访”，然而不管他怎样动员，罗荣桓还是很少谈自己的过去。
有一次，罗生特听梁兴初说，罗荣桓曾在“湖西事件”中救过他的命。罗生特颇感兴趣，去问罗荣桓，可罗荣桓只是淡淡一笑，说一声“这都是应该做的”便完事。
罗生特知道罗荣桓爱吃辣椒，有一次使用蹩脚的中国话问罗荣桓：“听说你们湖南人爱吃辣椒，连吃西瓜都要放辣椒，是这样吗？”他的话把罗荣桓也逗笑了。然而，他坚决反对罗荣桓吃辣椒，说：“你这个湖南人碰上我，可就遭罪了。”
罗荣桓夫妇经常留他在家吃饭，相处如同一家人。他同罗荣桓的孩子东进混得很熟，东进称他为“大鼻子叔叔”。
罗生特毕业于维也纳大学，在国内曾因参加反法西斯斗争而被捕，在狱中被法西斯暴徒打断了两根肋骨。来山东后，罗荣桓对他非常关心。前线缴获的炼乳、咖啡等罐头，罗荣桓都吩咐送给他吃。然而，限于条件，有时罗生特也得啃煎饼。常常寄养在老乡家中的罗东进吃惯了红高粱煎饼，称之为“嘎崩”。罗生特啃起煎饼来，也是津津有味，他还学着东进的话说：“这个嘎崩很香。”
本来，罗生特大夫是专门给罗荣桓治病的，可是罗荣桓却任命他为山东军区卫生部顾问，并向卫生部的领导同志多次交代说：“你们有外科和妇科的疑难病人，都可以请罗生特大夫会诊，还可以请他给医务人员上课，要充分发挥他的作用。”
在罗荣桓去淮南治病期间，山东分局召开了区党委书记扩大会议，由到北方局汇报工作的肖华传达了北方局的指示，由朱瑞作了《山东五年工作总结及今后任务》的报告。罗荣桓回山东后不久，八月间，朱瑞奉命回延安准备参加党的第七次全国代表大会。九月间，罗荣桓担任山东分局书记。
自罗荣桓主持分局和军区的领导工作后，山东根据地完全实现了党的一元化领导，军队和地方的一切工作，均在山东分局和山东军区的统一领导下，统一思想，统一指挥，统一行动。这时的山东分局，由罗荣桓、黎玉、肖华组成。到一九四四年下半年，又增加舒同为委员，担任分局的秘书长。他们四人组成的山东分局，形成了统一领导山东斗争的核心。黎玉在领导山东人民抗日武装起义、建立山东纵队和山东抗日根据地中，作出过卓越贡献，这时，他除了兼任山东军区副政委以外，主要是分管地方党政方面的工作。他积极支持罗荣桓并做了大量的工作。
罗荣桓担任分局书记后，非常注意和讲究领导工作的艺术。一般性的工作，他总是放手要大家大胆地干。开始，有的干部事无巨细都向他请示，罗荣桓反复向他们说明，要他们放手大胆地去处理一些职权范围内的事情。他认为，这也是培养干部，提高干部独立工作能力的一种方式。他对有关方针政策问题，有关山东全局的问题，有关重大军事行动的问题，却抓紧不放，一抓到底。这一切，充分表现了一名战略指挥员和政治家的风度。
罗荣桓还很善于做人的思想工作，调动各方面的积极因素，把党的方针、政策化为大家的实际行动。凡重大问题，别人有不同意见时，他从不独断专行，总是广泛听取意见，集体讨论决定。他历来相信群众，依靠群众，人们常常形容与他共事的几位领导干部是他的“三头六臂”。他自己也经常对人说：“我自己能有多大本事？还不是依靠大家的努力！”所以，一九四三年以后，山东党的领导，出现了空前的团结一致。大家心情很舒畅，共同为尽快地发动群众，建立共产党在各方面的优势，改善山东抗战的局面而奋斗。
罗荣桓去淮南治病，所以不能久留而要赶回山东，很重要的原因是李仙洲入鲁，引起山东敌伪、国民党和共产党三方面的斗争形势发生了急剧的变化。在波谲云诡的形势下，如何因势利导，以改善共产党、八路军在山东的地位，已成为刻不容缓的任务。
李仙洲，黄埔军校第一期的学生，山东长清县人，是蒋介石嫡系中著名的山东籍将领。卢沟桥事变后，他曾率第二十一师到居庸关、八达岭一带对日军作战，后在忻县参加歼灭了日军板垣师团一部的“南怀化之战”，负了重伤。一九三八年一月，他任第九十二军军长。一九三九年秋，蒋介石密令他准备进入山东反共破坏抗战。他率部从湖北通城北进到达皖北阜阳一线。皖南事变后，蒋介石为了同新四军搞磨擦，又命令李暂停入鲁。一九四三年蒋介石在全国发动第三次反共高潮时，一面阴谋策划进攻陕甘宁边区，一面命令李仙洲部即行入鲁，以增强山东的反共力量。
李仙洲部入鲁之时，甲子山战役结束不久，八路军与于学忠部之间仍有芥蒂。于、李如果合流，国民党顽固派的力量将大为增强，而使八路军在三角斗争中处于不利的境地。另一方面，李部入鲁后，敌伪同国民党之间，于学忠和李仙洲之间，李、于和各地方实力派之间的矛盾也将急剧发展，山东的三角斗争将日益复杂和激化。一九四三年一月间，罗荣桓等致电北方局，具体分析了这一复杂的形势，认为必须利用有利时机，制定出正确的方针和政策，以争取山东局面有一个新的转变。他要求紧紧掌握对敌斗争这个主要矛盾，强调对国民党部队疏通团结，推动和争取李部入鲁抗战，共同对敌，并按照国民党部队对抗战与团结的不同态度，分别采取不同对策，充分利用他们之间的矛盾，抓住有利的历史先机，开创山东抗战的新局面。
一九四三年一月，李仙洲投石问路，先令其暂编第三十师师长路可贞率一个团北越陇海路，在砀山以北至微山湖之间建立了立足点。李仙洲看到路部站住了脚，乃于三四月间亲率主力过陇海路进入鲁西。同时通过当地投降派向敌人联络，企图取得敌人谅解。但日军为了加强对山东的控制，尤其是为了平息因李部入鲁在伪军中引起的不安，并不买李仙洲的帐。李部到达单县后，日军纠集了一千余人的兵力，配合汽车、坦克，向李部进攻，激战至黄昏，李部伤亡严重，连夜转移至微山湖西侧。八路军冀鲁豫军区的部队从侧翼袭扰日军，配合他们作战，为其负伤的官兵换药，并用担架送回原部队。《鲁西日报》还发表了社论，向与日军激战的九十二军表示慰问。但是，李仙洲却认为这是企图动摇他的军心，对八路军态度十分不友好。他又命令第一四二师师长刘春霖、副师长牛乐亭率三个团东越微山湖和津浦路以后，与刘桂堂部勾结，共同对付八路军。
刘桂堂，放羊的出身，从小结识了一些土匪，十几岁便开始拦路抢劫，逐渐形成一股庞大的匪帮。由于他面如锅底，在土匪中又排行第七，便得了个“刘黑七”的绰号。抗战前他洗劫鲁南寺彦村，一次便杀人七百多。鲁南老乡家里，孩子如果哭闹，一说刘黑七来了，孩子顿时就不敢哭了。人们赌咒发誓时常说：“如果我说瞎话，今天就碰上刘黑七。”抗战前，他祸害山东，流窜于华北各地，他的队伍多次被消灭了，又多次拉起来。抗战初他投降日寇，跟随日军进攻胶东抗日根据地。一九三九年又宣布“反正”，蒋介石给了他一个第三十六师的番号。李仙洲入鲁，他得到了国民党嫡系部队的直接支持，便更加猖狂起来。
刘春霖部进入鲁南后，打着“驱逐逆流，收复失地”的旗号，以当地投降派申从周部为先导，进攻并强占滕（县）峰（县）边地区和八路军抗日根据地中心的山亭、白彦、大炉等地，每到一地便摧毁民主政权，抢劫物资，烧毁房屋，还活埋民主政府的工作人员。他们扬言：要把八路军撵到老黄河以北去。
在李仙洲的进犯面前，八路军只有起而自卫。阻止李仙洲部入鲁反共已成为当时军事斗争的重点。罗荣桓日夜密切注视着事态的发展，经常与分局和军区的其他领导人商议，决定先在群众中进行充分的思想动员与准备工作。山东分局、军区、省战工会、省参议会分别召开由工农商学兵各界参加的以反内战为主题的各种会议，号召全体军民，反击蒋介石派遣主力进入山东挑起反共内战的阴谋。
三月二十六日，罗荣桓指示鲁南军区，要求在军事上采取自卫原则，坚持自己的阵地，坚决打击为虎作伥的刘桂堂、申从周的进攻，同时在政治上坚持与李部联络、疏通，推动他们抗日。
在阻滞李部从南面入鲁的同时，罗荣桓也注视着北面于学忠的动向。不出所料，随着李仙洲入鲁，蒋介石同于学忠的矛盾便直接表现为李仙洲同于学忠的矛盾。李尚未入鲁时，便大挖于学忠的墙角，派人联络属于学忠管辖的山东各地方实力派，加委封官。于学忠本来对李部入鲁便心存疑惧，一见李如此动作，为保持自己在山东的地位，即以省主席牟中珩济的名义，将山东所有小股地方武装，统编为县和专署的保安队，使李无隙可乘；同时对向李频送秋波的驻滨海北面的保安第二师张步云部，以不听指挥为名，实施军事讨伐。
于学忠的防地在沂、鲁山区和诸（城）日（照）莒（县）山区。沂山位于沂水县北，鲁山位于莱芜县东，两山峰峦连绵，山崮耸立，形势险要。西与泰山，南与蒙山相连，北抵胶济铁路，东达诸城、莒县、安邱，纵横数百里，构成山东中部最大的山区，是山东的屋脊。诸日莒山区，是滨海区北部的重要山区，北与沂山山区衔接，南与甲子山区相连，是沟通滨海区与胶东区联系的重要依托。
这些山区，在抗战开始时，本来是共产党领导的游击队首先开辟的。可是，自一九三九年春季以来，先后为沈鸿烈、于学忠等部所占据。国民党的山东省政府和鲁苏战区总部都集中到这些地区。国民党顽固派把这些地区变成为他们反共反人民的重要阵地，而迫使八路军的根据地处于他们的外围。这些山区又严重威胁着鲁中与滨海地区，阻碍了两区与胶东区、清河区的联系。这些地区在国民党苛捐杂税的压榨下，民不聊生，有些地方变成了无人区。
于部几年来在日军的军事打击与政治分化下，遭受了重大损失，部队减员，地区缩小，士气低落，处境甚为困难。而沈鸿烈系统的吴化文部在国民党反动派“曲线救国”的政策下于一九四三年一月间公开投敌，吴化文当了伪和平建国军第三方面军司令。该部盘踞于鲁山山区，在日军支持下极力向于部进攻。已拨归李仙洲建制的张步云部也进逼诸日莒山区，使于部处境更加险恶。
自从一九三九年于部入鲁后，共产党和东北军一直保持着统一战线关系。当于遭到蒋介石、沈鸿烈的排挤时，共产党向其表示同情，并从各方面支持他们抵抗顽固派的压力，掩护他们与大后方联系的交通线，乃至供给他们给养，配合他们反“扫荡”等等。“八·三”事变及甲子山战斗以后，双方关系一度紧张。二月间，于部遭敌“扫荡”时，八路军曾予配合，允许于部退入八路军防地，于学忠因此对八路军态度转好。罗荣桓因势利导，派人疏通，三月间做到互派代表联系，四月间约定恢复电台联络。
四月下旬，李仙洲部刘春霖师由鲁南继续向天宝山区进犯，妄图迅速东进，与于学忠会合，抢占沂蒙山。六月间，李部的第二梯队到达湖西，李部随即向冀鲁豫八路军展开进攻。
在这种情况下，罗荣桓立即动身由淮南返回山东。
六月间，蒋介石看到于李矛盾重重，难以合作，便以调整全国抗战态势为名，将苏鲁战区同苏鲁皖战区合并为第十战区，调于学忠出鲁整训，实际上是罢了他“苏鲁战区总司令”的官。同时，蒋介石要李仙洲入鲁接替于学忠，还升任李为第二十八集团军总司令兼苏豫皖第一路挺进总指挥，又把于学忠原在山东所辖的地方武装新三十六师（刘桂堂部，驻鲁南）、暂十二师（赵保原部、驻胶东）、保安二师（张步云部，驻滨海北部）都拨归李仙洲建制，以扩大李的势力。
罗荣桓从华中回来后，得悉于学忠部即将西去，便将原在东北军工作过的一些干部请来共同分析形势，分析蒋于、于李矛盾，研究对策。他说：“国民党不信任东北军，所以要于、李换防。按常理，于应当等李来了再走，但是于学忠如果搞得漂亮一点，最好不等李来拍拍屁股就走，这对我们可就有利了。”大家完全同意罗荣桓的估计，认为：如果我军能把李仙洲顶住，再给于学忠提供便利条件，他完全可能先期出鲁。罗荣桓高兴地说：“好，如果于学忠真是这样走，我们就礼送出境。至于对李仙洲，则坚决顶住，决不能让他过来。”于是，一个顶李送于的对策迅速形成。
七月四日，朱瑞、罗荣桓、黎玉、肖华报告中共中央、建议“对于部西开不加箝制，并在一定条件下给予便利。对李部东进、北上尽量迟滞其时间，并在自卫原则下，乘其伸入我根据地立脚未稳之际，予以歼灭一部之打击……对于部防区附近之地方部队，争取可能争取者，歼灭某些最坚决反共部分，为求控制鲁中山区及莒日诸间山区，并互相联络，以便继续向外围发展”。
七月十五日，中共中央书记处复电山东分局并告北方局：“一、同意你们对付于学忠、李仙洲的方针。二、对友好者坚决团结之，对顽固（而）暂时尚未向我进攻者则设法中立之，对向我进攻者则坚决反击之。这就是你们应付各派国民党军队的原则。但一切磨擦仗均需将顽方攻我压我情形电告中央，以便通知国民党中央，杜断其借口及诬蔑。”
几天后，李部还在鲁南徘徊时，于学忠果然不等李仙洲接防便开始撤离了。事前，于部与八路军已约定：于部撤离驻地时，以烟火为号，八路军即去接防。于部可在鲁中根据地之坦埠（位于沂水与蒙阴边界处）和旧寨（坦埠以西）两地，通过八路军的防区，于部通过时，八路军筹备粮草，予以欢送。
但在这时却发生了一件不应有的事件。于部经过坦埠，旧寨附近时，有些士兵不愿西去。八路军有个连队看到他们装备好，弹药多，全是一色的“捷克式”步枪，就把他们留下来了。罗荣桓得知此事后，立即告诉鲁中军区，要严厉批评这个连队，并立刻将人、枪全部送还。同时要求各级领导干部提高政治和纪律观念，不要因小失大。他又发电报给各军区，指出：“东北军是中间势力，与我有西安事变前后之友好历史。我对于学忠部应取团结态度，决不能轻启衅端，即使顽固分子从中挑拨，我们也应加以忍让为妥。”由于各部队认真贯彻了这些要求，以后再也没有发生类似事件。于学忠部终于星夜冒雨通过津浦路西去。
因于部撤走而空出来的沂鲁山区和诸日莒山区顷刻之间身价百倍。在这两块山区周围的伪军和顽固派，包括驻在鲁山以南的山东最大的一股伪军吴化文部，盘踞在诸城一带的已经公开投敌的伪军张步云部，诸日莒山区北部的安邱一带的伪军厉文礼部以及在厉之卵翼下的磨擦专家秦启荣的残部，还有原驻鲁南，后转至日（照）莒（县）公路以北的张里元部，对于这两个山区都垂涎三尺，妄图染指。
为了赶在敌人前面占领于部退出之阵地，七月四日、十二日山东分局、军区命令鲁中区和滨海区的部队分别向沂鲁山区和诸日莒山区进行了大规模的进军。从七月中旬到八月上旬，同在日军支持下的张步云部、吴化文部和厉文礼部展开激烈战斗，基本控制了日（照）莒（县）公路以北的诸日莒山区，青（州）沂（水）路以东，安（邱）莒（县）边区和青沂路以西的北沂蒙地区等原东北军驻地。八路军在进攻厉文礼的据点时，还击毙了窝藏在那里的国民党山东别动纵队司令秦启荣。经过这一战役，新开辟的解放区面积达二千余平方公里。至此，山东境内已无国民党主力部队。各地方顽固派群魔无首，乱成一团。罗荣桓等抓住这一有利的历史先机，终于大大改善了八路军对敌斗争的地位。
在已经控制了诸日莒山区和北沂蒙地区后，罗荣桓又把重点转向南面。
七月二十六日，罗荣桓、黎玉作出在天宝山区或蒙山山区乃至鲁中区的腹地击退或歼灭李仙洲北犯部队的部署，要求慎重初战，要集中优势兵力寻求在运动中歼灭李部的机会。
八月十三日至十八日，鲁南军区司令员张光中、政委王麓水，按照罗荣桓的指示，集中主力第三团、五团及地方武装一部，在天宝山地区刘春霖部的侧翼，纠缠扭打，进行反击。顽军虽然受到损失，但仍越过滋（阳）临（沂）路窜至费（县）北，又遭鲁中第二团的打击，只好退回滋临路南，盘踞在平邑以南的流峪、常庄一带。
在此期间，津浦路西的冀鲁豫军区也开始反击李仙洲部的主力。九月，于曹县阻击进犯鲁西南根据地的李仙洲部，毙伤顽军二千余人，俘虏六千余人。
李部反共失利，又遭到敌伪的“扫荡”，损失甚大。李部人鲁时有二万余人，到这时剩下不到八千人。李仙洲看到大势已去，北进无望，只得灰溜溜撤回皖北。其先头部队刘春霖部也于九月五日在邹县北过津浦路西去。
当喜讯传来时，罗荣桓兴奋地说：“这就了却了我们多年来的心事。”他说：“这是山东军民的杰作。”在根据刘少奇的意图起草的《抗战四年山东我党工作总结与今后任务》中说：“既是历史先机，就是难得不常有的，当着历史先机已经出现，或许是很短的（一月甚至一周），但它能给予我们的，往往能使我们完成多年所不能完成的事业。”阻李入鲁从而占领了山东战略制高点，正是这样的事业。
罗荣桓认为，于、李离鲁，山东八路军取得发展后，必将引起敌人的极大注意。于是，在九月间，便开始部署反“扫荡”。这一年，河北、山西大旱，日本国内也是歉收，唯独山东是十年一遇的丰年。在部署反“扫荡”时，罗荣桓要求特别要注意防止敌人抢粮，要“快收、快打、快晒、快藏”，做到空舍清野。
敌人的大“扫荡”首先在鲁中地区开始。十一月九日晚，日军在伪军吴化文部的配合下，纠集万余人，从蒙阴、新泰以东的土门、沂水同时出动，以北沂蒙地区的坡里、金星头（蒙阴东北）为中心，四面向八路军合围，企图歼灭八路军主力，侵占新解放之北沂蒙地区。
八路军由于事先有了充分的准备，除留下小部分部队坚持内线支持群众斗争外，大部实行“翻边战术”，迅速撤离合击圈，转移到外线。敌人合围失败，便在根据地内大肆“清剿”。这时，留在内线的小部队配合外线部队积极打击敌人。鲁中第二分区第十一团八连的九十三名指战员，凭山崮天险，坚守南北岱崮（坡里附近）十五天，抗击了二千敌人在飞机大炮掩护下的无数次进攻，以伤七亡二的代价，换取了毙伤敌伪军三百余人的巨大胜利。罗荣桓接到报告后，以山东军区名义予以嘉奖，授予该连以“岱崮连”的光荣称号。
在鲁中反“扫荡”开始时，罗荣桓将目光扫向山东全境，研究了其他各区的敌情。他看到敌人由于兵力不足，在向鲁中“扫荡”时，其他地区均因兵力被抽走而采取守势，立即命令各军区根据各自的情况，主动发起进攻，狠狠打击敌人，以牵动“扫荡”鲁中之敌。各军区奉命出击，很快形成了山东全区范围内的一次有计划有准备的互相密切配合的反“扫荡”，使敌人顾此失彼，首尾不能兼顾。这种统一的作战行动，充分显示了军事统一指挥的重大战略意义。
十一月间，鲁南传来了匪首刘黑七被击毙的捷报。政治上反复无常的刘黑七自从李仙洲入鲁被阻后，再次投降了日军，当了荣子恒①伪“和平建国军”第十军第三师师长〔荣子恒：原东北军第五十一军第十一四师第三三七旅旅长，所部驻鲁南。一九四一年十月指使该旅六八三团张本枝部袭击中共鲁南区党委驻地银厂村，绑架并杀害区党委书记赵镈等多人，是为银厂惨案。一九四三年初，荣公开投敌，任伪第十军军长〕，但他同时仍旧保留着国民党新编第三十六师的番号。
歼灭刘桂堂，给山东人民除一大害，大快人心，受害最深的鲁南人民欢欣若狂。一九四三年四月，当教一旅政委王麓水调任鲁南军区政委时，罗荣桓曾对他说：“过去，鲁南有些地方群众发动不起来，主要是因为刘黑七这块石头还压在人们的心上。你去鲁南很重要的任务便是创造条件搬掉这块石头。”在这次战斗开始之前，罗荣桓又向张光中、王麓水交代：“刘黑七过去多次被打垮又重新拉起队伍。这次一定要活捉他，没有活的，死的也行。”如今这块石头搬掉了，王麓水立即向罗荣桓报告，罗荣桓复电，要他们趁此良机，坚决贯彻山东分局《四年工作总结》的精神，进行减租减息，深入发动群众。
打掉了刘桂堂这件事，使山东人民非常高兴，却又一次使国民党政府扫兴。此前，八路军在伪军厉文礼巢穴中击毙顽固派头子秦启荣，国民党政府便借此大肆攻击八路军。如今他们又大喊大叫说，击毙了他们的“师长”。不久，罗荣桓便收到在重庆的周恩来来电，要山东把刘桂堂的罪行赶快摘要报告，以便驳斥国民党政府的“抗议”。
待到周恩来将罗荣桓报去的材料一讲，国民党方面也就无话可说了。
敌人在“扫荡”鲁中区九天以后，突然转向清河区，并将兵力增加到二。六万余人，敌十二军司令官喜多诚一中将也亲赴前线指挥。这次“扫荡”历时二十余天，是敌人在一九四三年内对清河区进行的第三次万人以上的大“扫荡”，也是敌人对清河区的一次规模最大、最残酷的“扫荡”。
显然，敌人企图集中兵力消灭对其胶济路威胁最大的鲁中区与清河区。
敌人在合围时，仍然使用“拉网”战术，并以飞机配合侦察、轰炸，极力捕捉八路军的主力部队和领导机关，发现突围部队后，即以骑兵进行追击。清河区机关于转移中，在辛镇六户一带突然与敌遭遇，情况十分危急。
罗荣桓得知这一紧急情况后，立即电告清河军区，要他们坚持到黄昏突围。并要外线部队和民兵加强配合，袭扰敌人。清河军区接电后，积极组织部队作战，内外配合，用各种手段袭扰和打击敌人，终于在黄昏后突破敌之包围转移他处。
在清河区反“扫荡”的同时，罗荣桓又命令滨海军区发起了攻打赣榆城的战斗。十月十九日，伪和平建国军七十一旅李亚藩部一千六百余人缴械投降。滨海区八路军的胜利，直接配合了鲁中、清河区的反“扫荡”。
但是，六天以后，赣榆前线报告，滨海军区政治委员符竹庭在组织部队反击偷袭之敌时，因马受惊使他碰撞在寨门上身负重伤。罗荣桓立即派两名骑兵护送罗生特大夫连夜赶去抢救，但符竹庭终因伤势过重，医治无效，于十一月二十六日不幸牺牲，时年三十岁。
符竹庭，一九一三年出生在江西省广昌县头陂村的一个农民家里，一九二八年秋天参加了工农红军。他参加革命后，一直都是在部队做政治工作，是红军优秀青年政治工作干部之一。一九三二年符调任红十一师第十九团政委时，罗荣桓便认识了他。长征中，符是红二师政治部主任，罗同他一起渡过了金沙江，到陕北后又同在红大深造，使他们结下了深厚的革命友谊。当符竹庭牺牲的消息传来时，罗荣桓无限悲痛，一连数日茶饭不香，心境不宁。以后每逢谈起符竹庭，罗荣桓总是无限怀念和惋惜地说：“太可惜了，这么好的一位青年干部牺牲了。”
在敌人移兵“扫荡”清河区以后，鲁中部队立即适时地转入了攻势，继夏季第一次讨伐伪军吴化文后，又发起了第二次讨吴战役。十二月四日，鲁中军区集中了约五个团的兵力参战，并有地方武装与广大民兵广泛开展破袭战相配合，从四面向盘踞在鲁山以南，东起东里店、西至大张庄、北至石桥（均在沂水西北）这一地区的吴化文部展开进攻。经过四昼夜的战斗，攻克了北沂蒙地区的东里店、大张庄、岱崮、石桥等二十余处据点，歼敌八百余人。这次战役的胜利，收复了鲁山南部的部分地区，粉碎了敌伪蚕食北沂蒙地区的阴谋，严重打击了伪军吴化文部，巩固了八路军在夏季作战中恢复和扩大的地区，并且直接配合了清河区的反“扫荡”。
胶东区和冀鲁边区也积极开展游击战，加强了自己的阵地。胶东八路军于二十天内连续攻克十二个敌伪据点，并歼灭与打击了数股出动骚扰的敌人，共歼敌伪七百余人。
在各个战略区胜利出击的形势下，“扫荡”清河区的敌人，经清河区党政军民的合力打击，终于在十二月十三日全部撤出，敌人苦心策划的冬季轮回大“扫荡”，以彻底失败而告终。
一九四四年一月二十六日，延安《解放日报》发表了《山东军民反“扫荡”胜利》的社论，社论说：“敌人此次‘扫荡’战是企图用日本侵略者所能想到的一切军事的经济的残暴手段，来消灭敌后八路军与破坏华北民主抗日根据地，来准备其对民主同盟国的长期战争。我山东军民的反‘扫荡’的斗争，也比过去任何一次来的持久、主动、有准备、有计划，山东军民的团结一致，斗争的奋不顾身和战术的灵活机巧，在这次斗争中有了极其优良的表现。”
就在罗荣桓忙于处理阻滞李仙洲入鲁的紧张时刻，从冀鲁边区传来了噩耗：一九四三年六月三十日，冀鲁边军区司令员黄骅被刺。
在山东六个大战略区中，一九四二年、一九四三年间处境最困难的就要数冀鲁边区了。一九三八年八月肖华率三四三旅机关部分人员和少量部队进入这一地区，与当地人民起义组成的抗日武装汇合后，组成了拥有二万人的八路军东进抗日挺进纵队，开辟与扩大了拥有十四个县政权的根据地。由于冀鲁边区直接威胁天津、德州、沧州、济南等战略要地和津浦路，可以说处于日军的肘腋之间，因此日军对华北扫荡，这里是首当其冲。加之一九三九年灾荒严重，大部队难以存留。九月下旬，肖华奉命率部转移到鲁西，留下一部分部队坚持冀鲁边区的斗争。以后，由于日军加强了对津浦路的封锁，冀鲁边和鲁西的联系基本上被割断了。
肖华调任一一五师政治部主任后，出席了桃峪会议，报告了冀鲁边区的工作，随后，罗荣桓、朱瑞、陈光和肖华等深入研究了那里的形势，作出了打通冀鲁边区与清河区联系的决策。此前，由于敌伪和顽固派的严密封锁，地处小清河一带的清河区同老黄河以北的冀鲁边区长期被割绝联系。清河区地处小清河两岸平原，拥有寿光、广饶、青城、邹平等十几个县，人口四百余万，因受胶济路沿线敌军的进攻和封锁，小清河以南地区逐渐被分割。他们便向黄河入海处的利津、沾化一带地区①发展〔当时称为垦区，即现在的胜利油田一带〕。这里虽然人烟稀少，但地区辽阔，一望无涯，远离城镇，是很有地利的后方。如果冀鲁边区与清河区打成一片，可以互相支援，互相策应，扩大机动余地。从一九四一年春天开始，第一一五师冀鲁边区部队连续进行了几次东进（也称南下）作战，开辟了黄河北岸濒临渤海的鲁北的游击区，山纵的清河部队也在反击顽固派的反共磨擦以后，控制了利津、沾化一带垦区。两区部队终于粉碎了日伪和顽固派对八路军的长期封锁，打通了联系。
为了加强冀鲁边区的工作，罗荣桓从一一五师抽调了几批干部到冀鲁边区去。在肖华走后，任命周贯五为冀鲁边军区副政委（政委是王卓如）。一九四一年夏天，又派黄骅去冀鲁边区，任教六旅副旅长兼冀鲁边军区副司令员。为了加强冀鲁边区本地干部与外来干部的团结，发挥本地干部的作用，一九四二年春，山东分局与一一五师决定把一九三九年从冀鲁边区调出的原来参加发动该区起义的邢仁甫调回去，任教六旅旅长兼冀鲁边军区司令员。与此同时，罗荣桓又抽调了卢成道、王文模、黄荣海等一批干部到冀鲁边区担任领导工作。
然而，由于敌人多次进行“‘治安强化运动”，不断进行“清剿”，这一地区形势仍然越来越严重。到一九四二年下半年，区内敌伪据点林立，九十％的老百姓被迫向敌伪缴纳租税，多数的两面派政权是应付八路军而服从敌人的。沿津浦路以东，以德州为中心的南北各县，基本为敌控制，八路军已不能入境，回旋余地越来越小，根据地已完全变为游击区，加上敌人实行残暴的掠夺政策，边区人力、物力损失严重，粮食困难。部队不得不换穿便衣，长期分散活动，得不到休整，伤病员也得不到安置，处境非常困难。一九四三年三月十一日在实现军事领导一元化时，山东军区任命黄骅为冀鲁边军区司令员，调邢仁甫去延安学习，但邢借故拖延没有动身。
一九四三年六月三十日晚七点，黄骅、卢成道正在新海县赵家村学堂召开边区侦察工作会议。突然，军区司令部手枪队长冯冠魁带了四五个人闯进室内，向黄骅、卢成道及与会人员开枪扫射，然后慌忙逃窜。黄骅、卢成道等五人当场牺牲。
冯冠魁系土匪出身，当过伪军，投奔八路军后仍然匪气十足，后来查明，冯之刺杀黄骅为邢仁甫所指使。
邢仁甫是旧军人出身。他早年入党，曾参与领导本地抗日武装起义，一九四○年调离边区，担任过第一一五师政治部的军区工作部长。因为他在该区有一定影响，一九四二年春，又派回边区。边区有很多人是他的老部下，由于他平时喜欢拉拉扯扯，有些人受到他的笼络，跟着他跑。黄骅为此经常帮助教育他，而他却仇视批评，反而视黄骅为“眼中钉”。山东军区任命黄骅为司令员，而调邢仁甫去延安学习，邢更认为是黄骅把他挤出边区，夺了他的权。他原来借口准备去延安，便离开机关，带着电台和一部分部队住在小岛上，这次事件发生后，他还频频发报，向山东分局、军区表示自己的“忠诚”，根本不承认冯刺杀黄骅为他所指使。而另一方面却挑拨拉拢一些人，要把部队拉出来跟他“另开创一个局面”。
当时，由于山东军区尚未掌握到邢仁甫指使刺杀黄骅之确实罪证，加上邢表示效忠，所以罗荣桓等山东军区领导人决定继续对他采取争取挽救的方针。
但是，到一九四三年底，邢仁甫还是公开叛变投敌了。他由天津辗转到了国民党统治的洛阳。至于原来受他挟持留在岛上的电台工作人员和一些部队，都脱离其羁绊先后归队。等到邢仁甫拿到国民党第一战区司令蒋鼎文给他的“挺进第一纵队司令”的委任状，从洛阳赶回岛上时，岛上的人已经散了。最后，邢仁甫在天津投降日伪军，被委为“六县剿共司令”。日本投降后，他又当上了国民党军统特务，直到一九四九年解放天津时邢仁甫才被捕获归案，押到盐山县就地正法。
为了统一和加强冀鲁边和清河区的领导，改善这两个地区的工作，一九四四年一月十一日，中共山东分局和山东军区指示：清河军区与冀鲁边军区合并为渤海军区，杨国夫任军区司令员，景晓村任区党委书记兼军区政治委员，王卓如任区党委副书记，为了纪念黄骅，决定将他被害的地方新海县改为黄骅县。
两区合并后，执行了山东分局提出的“坚持阵地、坚持斗争，掌握有利时机，打通各分区联系”的任务，原来两区的局面都逐渐走向好转。