一九三九年十二月间，罗荣桓返回大炉，陈光也由鲁西来到大炉。
大炉位于抱犊崮山区。所谓“崮”指的是四周陡峭而顶部平坦的山头。在胶济路以南的大片山区，据说有七二崮，抱犊崮为其中之一。和许多崮一样，它的顶部很平，可以种庄稼，然而，上去却很难。人们可以顺凿出来的石窝攀登而上，可耕牛却赶不上去。相传古时候有个王老汉抱了一头小牛犊上去，喂大后用以耕地。抱犊崮因此而得名。一九二三年，土匪孙美瑶在临城车站劫火车，绑架了几十名外国人，便押送到抱犊崮山麓的巢云观。这就是轰动一时的临城劫车案。孙美瑶所以将抱犊崮作为窝藏人质的场所，是因为这里地势险峻。有了这个鼎鼎大名的抱犊崮，峰县、临沂、费县、滕县之间的鲁南山区，又称抱犊崮山区。当第一一五师进入这一山区时，绝大部分村寨都控制在地主武装手中。他们的人数少则三十五十，多则成百上千，队伍不论大小，头目都称司令。传说在这一带的司令也有七十二个之多。他们都接受了国民党政府的委任状。有的又明里暗里同敌伪勾结。第一一五师进入抱犊崮后，除少数开明地主外，他们或因不了解八路军而心存疑虑，或因立场反动而采取敌视态度。他们关闭寨门，不让八路军进村，不让老百姓同八路军来往。在罗荣桓赴湖西期间，第一一五师实施了两个作战行动。
第一个作战行动是派部队以东进支队名义向大炉东南的郯（城）码（头）平原进军，支援当地抗日武装，打通与华中区的联系。郯码平原是苏鲁边界上的富庶地区，它控制沂、沭两条河流的中段，直逼陇海铁路。南下郯码对巩固以抱犊崮为中心的山区根据地，发展平原游击战争，具有重要战略意义。十一月十八日，东进支队由一一五师参谋处长王秉璋和政治部副主任黄励率领，在地方武装的配合下，攻占码头镇。
码头镇是鲁南的一个商业和文化中心，比郯城县城还要繁华。八路军打开码头后，不仅缴获了一批武器弹药，而且补充了大量军需物资，还筹款二十万元。这时，已是小雪季节，战士们在码头高高兴兴地穿上了新棉衣。
码头解放后，在郯码地区出现了轰轰烈烈的抗日局面。广大爱国青年纷纷报名参军，抗日群众组织如雨后春笋纷纷建立。一九四○年一月一日，在码头成立了由共产党领导的郯城县人民政府。罗荣桓把从湖西调出的由梁兴初率领的原苏鲁豫支队第四大队进驻于此，改称东进支队第二大队。他们在地方武装的密切配合下，发展了郯码地区的抗日武装斗争，巩固了抱犊崮山区东南的外围阵地。在东进支队南下时，罗荣桓喜得一女，即取名为“南下”。
第一一五师实施的第二个作战行动是打孔庄。这一行动是在部队南下郯码后，由大炉成立的后方司令部承担的。
孔庄位于大炉南面十来里。大地主杜若堂是当地土皇帝，掌握着装备有机枪的武装，历代官府也奈何他不得。第一一五师进驻大炉后，曾争取他抗日，但他不仅置若罔闻，而且还从枣庄引来一百多名日军袭击八路军。孔庄成了抱犊崮山区的一个钉子。十二月初，八路军攻克孔庄，击毙在土围子里顽抗的杜若堂。
攻克孔庄的胜利，震动了大炉周围的反动地主。以往，他们闭门锁寨，对八路军采取敌视态度。这时，有的转向中立，有的向八路军靠拢，八路军在鲁南的影响扩大了。
然而，在抱犊崮山区内，日伪、国民党顽固派、东北军和八路军犬牙交错的状况基本上并未发生变化。在这一形势下，如何打开局面，乃是罗荣桓首先必须回答的问题。刘备三顾茅庐，诸葛亮提出了三分天下的“隆中对”。而罗荣桓到鲁南提出的“隆中对”不是三分天下，也不是同国民党建立共同根据地①〔一九三八年六月，国民党第十军团石友三部入鲁，中共曾同他讨论过共同建立山东抗日根据地问题，后石部北调，实行反共。在鲁南，中共山东党组织也曾有过与国民党的临沂专员张里元建立共同根据地的设想，同样没有成功〕，而是要充分发动群众建立由共产党独立领导的抗日根据地。罗荣桓到大炉后，第一步提出的是把抱犊崮山区全部拿下来。用什么办法？罗荣桓后来在桃峪会议上总结了在鲁南开创新局面的六字方针，即：插、争、挤、打、统、反。插，就是插入日伪军和国民党军队之间的空隙地带，隐蔽地由边缘伸入到腹地。争，就是广泛发动群众，争取团结一切抗日力量。挤，就是挤掉消极抗战、积极反共反人民的顽固势力。打，就是打击日军和汉奸武装。统，就是同国民党军队，特别是驻在鲁南的东北军疏通团结，保持统一战线。反，就是反“扫荡”、反磨擦。
显然，罗荣桓提出的这六字方针同毛泽东关于“发展进步势力、争取中间势力、反对顽固势力”的策略方针的精神是一致的，是这一策略方针同鲁南的实践相结合的产物。一九四○年，罗荣桓娴熟自如地运用这六字方针，终于在敌、顽、友、我各种矛盾云谲波诡的复杂形势下，开创了鲁南抱犊崮山区的新局面。
在抱犊崮山区的许多“司令”之中，主张同共产党、八路军联合抗日的只有大炉的万春圃和滕县的孔昭同。对于他们，罗荣桓认为，要“促成坚持抗战、团结和进步”①〔罗荣桓：《鲁南团以上政治工作会议的总结报告》，一九四○年四月于费县吴家沟〕。
万春圃是大炉地区的开明士绅。民国以来，军阀混战，兵连祸结，民不聊生。为了保境安民，当地组织民团，万是负责人之一。他性情豪爽，讲义气，人称“万三爷”。“九一八”事变后，他的长子万国华、管家杨春茂、管武装的刘清如先后加入共产党，他同党有了联系。一九三七年九月，临沂第三区专员张里元要万恢复临沂、费县、峰县、滕县四县边区联庄会，中共苏鲁豫皖边区特委书记郭子化派郭致远以地方名流身分同万一道去见张里元。经过协商，决定由万以恢复联庄会名义建立抗日武装。随后，在中共的帮助下，万便组建了这支武装。
罗荣桓到达大炉后，万春圃盛情款待。万夫人会做鲁南风味的全羊席，从羊头到羊尾巴做了十几个菜，外加羊肉馅的锅贴。席间，万热情邀请罗荣桓、陈光住在他的家中。
罗荣桓刚刚住进万家时，万家的人都小心翼翼，生怕惊动了这位“大官”，人们都小声地说话，轻轻地走路。罗荣桓主动地接近他们，和他们拉家常，问长问短，很快两家就亲如一家。
万春圃每天总要到罗荣桓屋里坐坐，罗荣桓常常给他讲国内外形势和八路军的历史和传统。他感到茅塞顿开，深受教益。
住的时间长了，万春圃常常看到，罗荣桓教勤务员认字、写字。他听说，罗荣桓对马夫、炊事员亲如兄弟。马病了，他亲自动手和马夫一起给马灌药。
万春圃看到罗荣桓和战士一样穿的是几乎褪成白色的军衣，盖的是打了补钉的被子，吃的是高粱煎饼就咸菜，觉得过意不去，便吩咐他的夫人给做点好吃的送过去。他夫人知道罗政委爱吃辣椒，就杀了一只鸡，炒成辣子鸡丁，让勤务员王立志给罗政委端去。小王不敢收，万夫人便说：“这是万三爷的一点心意，你尽管送去。罗政委说你，由我‘兜着’。”小王只好送去。罗荣桓一开始认为是伙房改善生活，动了两筷子又感到事情不对，便问小王鸡是从哪里来的。小王说明了原委。罗荣桓立即让林月琴拿出钱来叫小王送去，并叮嘱小王给万家讲明三大纪律八项注意是我军的规矩，不要让他们产生什么误会。
这一切对八路军来说是十分平常的事，却使万春圃一家非常感动。万春圃说：“俺活了五十多岁了，还没见过这样的官长、这样的军队。真正是仁义之师、王者之师啊！有了八路军，国家就有了希望。”
万春圃从同罗荣桓和八路军指战员的接触中，学到了许多革命的道理，和共产党的感情更加亲近了。国民党顽固派曾扣押了他的小儿子和女儿作人质，要拉他到国民党一边。他说：“我儿子、闺女宁可不要了，也要跟着共产党走！”他一再向罗荣桓表示，决心在共产党、八路军的领导下抗战到底。他把自己惨淡经营了多年，有几百条枪，并有机关枪和迫击炮装备的部队，全交给八路军指挥。一九四○年三月二十二日，万春圃的四县边联武装和苍山游击大队正式合编为八路军临（沂）郯（城）费（县）峰（县）四县边联支队，万春圃被任命为支队长。
与万春圃部几乎是同时加入八路军的还有孔昭同部。
孔昭同是滕县人，曾在北洋军中当过中将师长和福建泉（州）兴（化）永（定）镇守使。北伐后，他卸甲回乡，开药店，办学堂，济世育人。
一九三八年初，日军占领济南后继续南下，占领泰安、兖州，滕县告急。滕县城中土豪劣绅怂恿他出面组织维持会，他说：“咱扛把子①上街卖拳、要饭去，也不能当汉奸〔 把子，指刀枪剑戟〕！”
一月底，孔昭同和曾经当过阎锡山的军长的杨士元组织鲁南民众抗日自卫军，杨任司令，孔任副司令。三月中，日军攻滕县，孔的儿子宪尧、宪纲遭飞机轰炸而遇难。不久，抗日自卫军也遭日军袭击而溃散。失败反而更坚定了孔昭同的抗日决心。他毁家纾难，变卖家产，充作重组军队的经费，同时身披写着“上尽国忠，下报家仇”的黄缎带，在滕县山区为组织武装而奔走呼号。队伍又稍稍恢复。一九三八年夏，国民党第十集团军司令石友三驻扎在山东。孔是石的结拜兄弟，便接受了石部的暂编第六师的番号，活动于抱犊崮西北的滕县、邹县、泗水、费县之间。
年底，石部调往河北。孔逐渐认清石的反动面目，与其分道扬镳，拒绝北上，坚持在家乡抗战。一九三九年三月二十二日，孔部在滕县龙岭山下同一百余日军遭遇，孔已年近花甲，但老而益坚。他脱掉皮袍，光着膀子，面对敌人，奋臂高呼：“尧纲两儿，魂若有灵，助父杀敌，雪耻报仇！”随即在山鸣谷应的回声中带领战士冲向敌人。日军丢下十几具尸体，狼狈逃窜。
孔昭同部中最早同第一一五师联系的是其第二旅。这个旅原是共产党领导的鲁南人民抗日义勇队的一部分，旅长董尧卿是共产党员。一九三八年八月作战失利，与党失去联系后编入孔师，成为该师主力。第一一五师进驻鲁南后，董即派人来联络，恢复了党的关系。第一一五师派去了参谋长。孔昭同闻讯后，也请山东教育界知名人士彭畏三①前来联络〔 彭畏三曾任山东省教育厅督学〕。
彭到大炉后，罗荣桓按照当地的习惯，摆了“十大碗”热情款待。席间，罗荣桓向彭畏三阐明了中国共产党的统一战线政策。当时，于学忠和张里元都在拉孔。孔对国民党消极抗日、积极反共很反感，对共产党坚决抗日很钦佩。但是，他多少还有一点正统思想。为了解除孔昭同的顾虑，罗荣桓请彭畏三转告孔昭同，八路军与孔师合作抗日，孔师可保持原来的番号，继续在原地区活动，双方要加强联系，增进了解。彭畏三提出，孔昭同希望八路军派一位政工干部到孔师去作政治部主任，罗荣桓当即将在座作陪的特务营教导员黄玉昆介绍给他。黄玉昆是红军，在樊坝战斗中，他是担任主攻的夜老虎连的指导员，在火线上负伤。
第二天一早，黄玉昆就跟彭畏三离开第一一五师。行前，罗荣桓握着彭畏三的手说：“以后希望随时通报敌情，加强联系。孔师长在供给上有什么困难，我们可以帮助解决。”
黄到孔师后，按照罗荣桓的指示，宣传八路军的抗日主张和三大纪律、八项注意等八路军优良传统，帮助孔昭同整顿部队，克服旧军队的恶习，改善官兵和军民关系，为改造这支部队创造条件。
一九三九年十二月，蒋介石发动了第一次反共高潮，在滕县活动的国民党顽固派申宪武（申从周）蠢蠢欲动，企图进攻孔昭同部。孔昭同师的第一旅旅长刘昭汉，也和国民党勾结，脱离孔师节制。罗荣桓和陈光决定，打击申宪武，刹一刹顽固派的嚣张气焰。在作战中，申宪武狼狈逃跑，他的两个团被消灭。战后，董尧卿旅即归还八路军建制，编入六八六团。后来，六八六团改称鲁南支队，六八六团团长张仁初任支队长，董尧卿任副支队长。接着孔昭同也毅然决定，与国民党割断联系，接受共产党和八路军领导。一天晚上，他选派了十名身强力壮的保镖，护送黄玉昆连夜回第一一五师，向罗荣桓和陈光报告孔的这一决心。
经上级批准后，第一一五师正式任命孔昭同为八路军第一一五师曲、泗、邹、滕、费五县游击司令。孔昭同亲率人马，到第一一五师驻地接受点编。第一一五师召开了隆重的欢迎会，宴请孔昭同和他的部属。罗荣桓在欢迎会上讲话，热情称赞孔昭同坚持团结，坚持抗战的精神。罗荣桓和陈光检阅了孔昭同部队，给指战员颁发了八路军臂章。第一一五师还给孔昭同部队补充了弹药和衣服。
一九四○年秋，孔昭同病重。在弥留之际，他对他儿子孔宪绍说：“共产党、八路军不歧视我们，不撤换我们，也不编散我们的部队。共产党一定会胜利，你一定要跟着共产党走。”一九四○年十一月，孔昭同因病逝世，罗荣桓与陈光、肖华联名送了挽联，颂扬孔昭同热爱真理，为民族，为国家英勇奋斗的高尚品德。
罗荣桓在鲁南还团结了许多在当地有一定声望的爱国人士，他们在发展地方武装，开展敌占区贸易，瓦解敌伪军方面，都发挥了很大作用。
在鲁南，共产党、八路军的主要统战对象是当地各种地方势力和东北军。国民党的各种地方势力中，实力最强的是山东省第三区督察专员兼第三区保安司令张里元。他曾在韩复榘手下先后当过县长和专员。韩复榘南逃时他没有跟着跑，并在临沂费县一带建立了武装。沈鸿烈当了山东省主席以后，与原韩复榘系统的张里元存有矛盾。一九三七年冬，共产党即与张里元建立了统战关系，先后派童陆生、刘其人等去张部工作。一九三八年秋，张曾掩护过鲁南抗日义勇队。国民党掀起第一次反共高潮后，一九三九年下半年，张的政治态度右转，共产党派去的工作人员被迫撤出。但因张对共产党还保持中立态度，根据人不犯我、我不犯人的原则，罗荣桓决定与张里元继续保持统战关系，曾几次派人去张部联络。在名义上归张里元统辖的鲁南各县地方武装，对共产党政治态度不一，互相之间矛盾也很多。罗荣桓对他们采取了区别对待的方针。
与鲁南的地方势力相比，东北军是更为重要的统战对象。罗荣桓一进山东，就对东北军的情况进行了深入的研究。早在一九三九年四月二六日，他在泰西时，就在师直属队的干部会议上指出：“于学忠到鲁南，统一战线的形势可能会好一些。我们应很好地巩固与东北军之团结。”于学忠是山东人，曾在北洋军阀吴佩孚手下当师长。一九二七年吴垮台后转入东北军。一九三六年任国民党的甘肃省主席。西安事变时，他在西安参加了张学良主持的高级将领会议，同意对蒋介石实行“兵谏”。张被蒋扣押后，东北军即由于学忠率领。抗战开始后，蒋介石把于调到山东，既想让东北军在同敌伪的战斗中受到削弱，又想利用东北军限制人民力量的发展，而于学忠一方面不得不受蒋介石的节制，另一方面又时时要提防蒋把他这个“杂牌军”吃掉。因此，他有一个很形象化的口号：“既不红，又不蓝，三条道路走中间。”
于学忠部辖有第五十一军和第五十七军。于的苏鲁战区司令部和第五十一军驻扎在沂鲁山区，第五十七军的第一一一师驻扎在日（照）莒（县）山区，第一一二师驻扎在鲁南，同八路军的驻地犬牙交错，师部驻在石河、官庄，离大炉只有十二里路。
早在一九三八年春天，共产党在第一一二师就设有秘密的工作委员会。一九三九年，根据中共六届六中全会精神，工委已停止发展组织而专做统战工作。罗荣桓到大炉后便受中共中央山东分局委托，负责直接领导这个工委。工委负责人谷牧秘密来到大炉向罗荣桓汇报了第一一二师的情况。该师师长叫霍守义。“西安事变”前，他在陕北，防地与红军接壤，曾奉张学良之命，掩护了大批人员进入苏区，其中包括美国记者斯诺。因此，他对共产党还是友好的。这个师的两个旅都有共产党掌握的战地服务团，每个团都有党领导的宣传队。第一一二师三三四旅六六七团团长叫万毅，“西安事变”中是著名的少壮派，事变后被蒋介石扣押，抗战爆发后才释放。一九三八年三月由张文海、谷牧介绍秘密加入共产党。在他的掩护下，共产党在六六七团的工作十分活跃，几乎每个连队都有党员，抗日气氛十分浓厚。
罗荣桓很满意地听取了谷牧的汇报后指出：对东北军要做两方面的工作。一方面要团结争取广大官兵一道抗日，另一方面对在部队中进行阴谋破坏活动的国民党特务要进行尖锐的斗争，揭露他们的反动面目，防止东北军向坏的方向转化。
罗荣桓初步了解了第一一二师的情况后，便派参谋处长王秉璋去做联络霍守义的工作。王原在孙连仲的第二十六路军，一九三一年底在宁都暴动中参加红军。由于王对旧军队官兵的思想动态、生活习惯、语言礼节等等比较熟悉，因此王第一次去拜访霍守义时，霍同他一见如故，谈得很投机。王给霍送来一些宣传材料，其中有一份是《三大纪律八项注意歌》。霍看了后击节赞赏。王告辞后，霍拿着歌篇对他的书记（相当于秘书）李欣说：“我看这支歌很好，咱们也能唱。你就用我的名义起草一个训令发到全师，要大家都唱这支歌。”
这位李欣也是共产党员，当有人向霍守义告发时，霍不大相信，说：“只要他抗日，管他是不是共产党。”
王秉璋告辞后的一个寒夜，李欣在秘密交通员带领下，顺着崎岖不平的山路，匆匆赶到第一一五师师部去见罗荣桓。
由于李欣还要在拂晓前赶回，顾不上寒喧，一坐下来就汇报。罗荣桓凝神听完他的汇报，几乎没有什么插话。李汇报中，林月琴端来炒得热烘烘的花生，款待这位从事危险的秘密工作的同志。
李欣从一九三八年起便在霍守义身边工作，对第一一二师情况，对霍守义的政治态度和脾气爱好，以及霍同王秉璋见面的反应都十分清楚。李详细汇报后问罗荣桓，党在第一一二师的工作基础很好，在国民党加剧反共的形势下，是否可仿照山西新军的办法把队伍拉过来。
罗荣桓立即指出：你们的情况同山西新军不同。山西新军是我们党组织起来的部队，而第一一二师是东北军。你们还是要做好团结上层进步势力和下层广大群众的工作，争取霍守义向好的方向转化，不要搞“起义”。冬夜围炉长谈，并不觉得时间过得快，说话间已近拂晓。为了避免暴露，李便起身告辞。
在第一一五师师部还有一位人物，他可以在霍的住处登堂入室，同谷牧、李欣等联系而不致引起霍的怀疑，他可以同霍当面争论而不致撕破情面。他就是联络科长靳怀刚。他的父亲靳云鹗曾经当过吴佩孚的副司令和河南省长，同于学忠有袍泽之谊。他的伯父靳云鹏在北洋军阀政府曾两度出任国务总理，同张作霖是儿女亲家。
靳怀刚在北平读书时，参加了“十二·九”运动。抗战爆发后回故乡邹县组织游击队，不成，赴延安学习并入党。后奉调到鲁南做联络工作。他和地委书记宋子成等都住在万春圃家后院。罗荣桓同他们结邻而居。罗荣桓平时沉默寡言，不苟言笑，可在同靳熟悉了之后，却常常同靳开个玩笑，称之为“靳少爷”。
一天，罗荣桓问靳怀刚：“你家的生活条件那样好，为什么要参加革命呢？”靳讲了他家大多数成员过着骄奢淫逸的腐化生活后说：“在那个家庭里，人和人的关系除了金钱没有别的。我实在不愿意同流合污。我呕不了那个气。”
罗荣桓点点头说：“你参加革命完全可以理解。中国有许多官宦之家出身的知识分子能够参加革命，这是中国革命的一个特点。”罗荣桓还援引周恩来为榜样，鼓励靳怀刚不断进步。
霍守义是张作霖的老部下，早就认识靳怀刚，称呼他为“老弟”。由于有这层关系，罗荣桓便让靳继续联络东北军。根据统战工作的需要，罗荣桓感到靳的职务需提高一点，又任命他为第一一五师的后方政治部主任。
罗荣桓在同东北军搞统一战线时，注意了又团结又斗争。他每次派王秉璋、靳怀刚去第一一二师之前，都要找地委书记宋子成、群工部长刘兴元、峰县县长潘振武等集体研究谈判预案，设想霍会提一些什么问题，应如何答复。当时霍守义经常鼓吹国民党的一个政府（国民党政府）、一个主义（三民主义）、一个领袖（蒋介石）。罗荣桓等便考虑，假如霍提出我们建立民主政权为“破坏统一”时，便回答他：国民党所派县长、区长在日军进攻面前望风而逃，人民理应成立民选的抗日民主政府，等等。
罗荣桓还向王秉璋、靳怀刚交代，要反复讲八路军和东北军是老朋友，对霍在抗日中的功绩作充分评价，但在原则问题上又要寸步不让。
按照罗荣桓的交代，靳怀刚同霍谈判，有时争论得面红耳赤。霍理屈词穷时便说：“哎呀，老弟，先吃饭，吃了饭再谈。”由于靳按照罗荣桓的指示，在谈判时既坚持原则又注意掌握必要的灵活性，也由于靳同霍的历史渊源，谈判争论得再激烈也没有闹翻。
在对霍守义的统战工作中，处理官里庄事件，从而挤走顽固派的县长李长胜，是一个成功的范例。
李长胜是沈鸿烈委任的费县县长。沈鸿烈虽是东北军出身，可政治态度和于学忠、霍守义不同。他已死心塌地投靠蒋介石，成为反对共产党、反对八路军的磨擦专家。而李长胜又是五十七军军长缪澂流的外甥。缪同沈在政治上沆瀣一气，也是东北军中反动势力的代表。李长胜便依仗沈鸿烈、缪澂流作后台，处处同八路军、同人民作对。
一九三九年十二月二十八日，临郯费峰四县边联农民自卫团在费县官里庄开会，邀请李长胜参加。李长胜带了一些保安队闯到会场后就以县长身份提出要检阅自卫团，强令自卫团架起枪支，排队集合。然后指使部下开枪，当场打死自卫团干部、团员六人，打伤二十余人。这就是震惊鲁南的“官里庄惨案”。
消息传出后，鲁南地委和四县边联的领导人立即开会研究对策，并去请示罗荣桓。罗荣桓说：“要抓住这个事件，首先组织群众到霍守义的驻地游行示威，要求霍守义严惩杀人凶手。”有的干部感到向霍守义请愿不管用。罗荣桓说：“李长胜行凶是在霍守义管辖的地盘里。霍守义还是抗日的，虽然他不想得罪他的上司缪澂流，可也不会支持李长胜，我们向他请愿，造成声势，下面的文章就好做了。”
第二天，数百名农救会会员、自卫团团员护卫着几十名死难者家属，涌向十十二师师部，在门外高呼口号，强烈要求严惩凶手，为死难者报仇伸冤。
霍守义也感到李长胜这件事作得不对，于是派人接见群众，表示：“李长胜制造事端，开枪打人是错误的，我们要做调查。”并表示要向死难者发放抚恤、丧葬费。但是，当示威群众要求“严惩凶手”时，他却不予答复。
罗荣桓听取了四县边联负责人的汇报后，对地委和边联的负责人说：“现在请愿已达到了目的。顽固派输了理，我们在政治上取得了主动，群众要求报仇雪恨的劲头也鼓了起来。下面的文章，就要转入武装斗争了。攻打李长胜的驻地崮口村，讨伐顽固派！”
于是，地委召开了紧急会议，成立了前敌委员会，调动二十四个农民自卫团，兵分五路，把李长胜盘据的崮口包围了个水泄不通。
李长胜据坚固守，自卫团久攻不下。有的干部担心时间久了，霍守义会来增援。罗荣桓好象猜透了大家的心思，及时写了一封信送到前线。他在信上说：经过前一阶段的揭露和斗争，李长胜破坏抗日破坏团结的罪行有目共睹，已成众矢之的。前一段霍守义未答应群众严惩凶手的要求，也算可以向缪澂流交帐了。现在霍是不会进一步公开支持李长胜的。有八路军主力做你们的后盾，他也不敢援助李长胜。因此，你们要坚定信心，持久围困，不要急躁，不要硬打硬拼。李长胜总有一天会挺不下去的。
这封信传达下去后，包围崮口的各路指挥员和广大自卫团员战斗情绪更加高昂。与此同时，罗荣桓继续派靳怀刚等到霍守义那里做疏通工作。果然不出罗荣桓所料，霍守义一直按兵不动。李长胜支持不住，在一个夜晚狼狈逃跑。八路军收复崮口，挤走了李长胜，建立了费县抗日民主政府。
一九四○年一月二十七日，罗荣桓将挤走李长胜的经验通报所属部队，电报说：“我们对于（同顽固派的）武装冲突，事先应争取在政治上的绝对优势，造成一般社会舆论对我们的同情和声援……”罗荣桓考虑，反磨擦斗争政策性很强，因此电报要求各部队遇到类似情况应“及时电告师部转各方，以便应付上层关系”，同时要求各部队注意，“不能把所有杂色部队都看成反共反八路的力量而予以同样手段对待。”
一九四○年二月七日，罗荣桓和陈光致电中央和军委，汇报了官里庄惨案和对顽固派反击的情况。二月十一日，毛泽东亲自起草了中共中央的复电：“陈、罗七日电今日看到，所取方针是正确的，望坚决执行。”复电还说：“沈鸿烈属于顽固派，对我百端磨擦，故须在自卫原则下坚决消灭之……于学忠与沈鸿烈不同，他是尚有希望的，除对其反共政训人员应加以坚决打击外，对东北军应极力争取，至少使之取中立态度。”中共中央将这一份重要电报同时发给了朱德、彭德怀、杨尚昆、刘伯承、邓小平、徐向前和朱瑞。
由于罗荣桓坚决执行了对于学忠和沈鸿烈区别对待的方针，团结了东北军，于学忠和霍守义在山东基本上保持中立的态度。一九四○年底，霍部开往苏北后，第一一五师还同他们有电报联系。新四军第三师师长黄克诚又派人疏通，继续与其保持良好关系。这对于八路军、新四军反对日伪军的“扫荡”、“蚕食”，反对国民党顽固派的进攻，巩固和扩大抗日根据地，提供了有利的条件。
一九四○年一月初，罗荣桓在领导挤走李长胜的斗争的同时，和陈光一道主持制定了第一一五师的行动方案，其要点是：创造以抱犊崮为中心的鲁南抗日根据地，并于近日进攻白彦，经营天宝山，争取与泰山区和沂蒙山区打通联络，留主力一部坚持冀鲁边的斗争；在鲁西的肖华部与杨勇部应夹黄河打成一片，巩固鲁西和泰西根据地；苏鲁豫支队彭明治等率三大队开辟湖西金县、单县等地区，二大队调鲁南与陇海路南之一大队相配合，沿陇海路两侧向东推进。
此前，一九三九年九月下旬，肖华已奉集总命率挺进纵队机关和主力一部由冀鲁边转移到鲁西北，十月间，按师部决定，与杨勇部合编为第三四三旅兼鲁西军区，由杨勇任旅长兼司令员，肖华任政委，统一领导鲁西区根据地的斗争。
二月初，罗荣桓、陈光将进攻矛头指向白彦。
白彦，位于抱犊崮与天宝山区的中间，是南北交通枢纽，是鲁南通往沂蒙山区的必经之地。大地主孙鹤龄，是当地一霸。他的儿子孙益庚是白彦的乡长。罗荣桓曾派人同他们联络，想争取他们一道抗日，但孙氏父子不仅拒绝，而且与日伪勾结，强迫周围几十个村庄组织反动民团，断绝交通，成为八路军向天宝山区发展、打通与沂蒙山区联系的严重障碍。罗荣桓、陈光决定拔掉这个钉子。
一九四○年春节前的一天，六八六团团长张仁初接到通知，飞马赶到师部。罗荣桓和陈光把他带到作战室，陈光指着地图上的一个小黑点说：“张仁初同志，师部决定把这个钉子拔掉。”张仁初趋前一看，正是他早已料到的白彦。张是湖北黄安人，长征时是四方面军三十三军一个营长。一、四方面军会师后，调到一方面军。他文化不高，可身经百战。打起仗来，眼一瞪便不顾一切，不把敌人消灭绝不罢休，人们给他起了个绰号叫张疯子。对于他一定能打下白彦，罗荣桓深信不疑。然而，这个地方太重要了。敌人丢掉之后决不会善罢甘休，可能要反复争夺。对此有必要早打招呼。于是，罗荣桓叮嘱道：“这可是个咽喉之地，敌人绝不会轻易放弃。我们拔掉了，敌人还可能再钉上。要准备与敌人反复争夺。”
张仁初点点头，表示完全认识到问题的严重性。
“打下白彦后，”罗荣桓右手来回一划拉，“要立即平毁敌人留下的一切防御设施，迅速把群众发动起来。发动群众，是我们在白彦立足的关键。”
“明白。”张仁初知道，坚固工事对于历来不强调死守一地的八路军并无多大好处，而敌人占据了倒会给我们造成麻烦。八路军的铜墙铁壁是群众，而不是工事。
为了解除张仁初的后顾之忧，陈光又向他介绍了对其他部队的部署，“我们已经命令梁兴初部在郯城、码头一带牵制南面的敌人。另外，苏鲁支队和苏鲁豫支队的胡（炳云）田（维扬）大队也从陇海路南开过来了。他们再加上特务团，都要配合你们作战。还要通知孔昭同部在北面策应。我们的兵力占绝对优势，你尽管放心打。”
“是！”
罗荣桓笑问：“还有什么困难呀？”
“没有，坚决完成任务。”张仁初向两位首长敬了礼，便回去布置了。
二月十三日，农历正月初六，下起了鹅毛大雪。大炉西面的抱犊崮戴上了一顶白帽子。在纷纷扬扬的大雪中，罗荣桓和陈光带领师部出发了。他们是白天走的。六八六团走得早，是夜间行动。“漫天皆白，雪里行军情更迫。”下雪天，尤其是雪夜，往往是发动奇袭的好时机。罗荣桓、陈光率领的部队刚过罢旧历年便踏上了“雪夜袭白彦”的征途。
正月初九，第六八六团攻下白彦。根据罗荣桓的指示，部队抽调了大批干部，协同地方党组织发动群众。在原来伪区公所门前，挂起了“白彦区抗日民主政府”的牌子。孙鹤龄的粮仓打开了。那些把附近的树皮都剥光了的饥民，手捧着刚分到的救命粮，眼睛里都闪烁着感激的泪花。很快，农救会、妇救会、儿童团都组织起来了。地头场院，响起了抗日的歌声，街头巷尾，贴满了抗日的标语。
部队一面进行训练，一面按罗荣桓战前的交代，拆毁了孙鹤龄经营了几十年的碉堡寨墙。有一些老乡不免露出疑惑的目光。
三月四日，罗荣桓来到白彦检阅部队的训练成果，给大家讲了话。他说：“我们占了白彦，就像掐住了敌人的脖子，敌人是不会甘心的，现在他们正在拼凑兵力，要夺回白彦。我们不能在这里和敌人死拼，要撤出去打。经过反复争夺之后，白彦终归会回到我们手里。”
果然，不过三天，驻邹县东面城后据点的日军一百多人向白彦扑来。看来是试探性的，特务团打了它一个伏击，敌人就缩回去了。
三月十二日，日伪军又从北面的平邑、西北面的城后、东南面的梁丘调集七百余人，向白彦合击。八路军主动撤离白彦，在白彦两侧山地里，与来犯之敌展开激烈的战斗。敌人费尽九牛二虎之力才爬进白彦。然而，这里已成死寂的空镇，要修工事，抓不到民夫；要吃饭，找不到粮食；要喝水，井也被封起来了，人渴得嗓子直冒烟，大洋马渴得直尥蹶子。
当晚，第六八六团一部又攻入白彦。敌人无险可守，狼狈而逃。
三月十九日，敌人又拼凑二千余人东西对进，在白彦外围同八路军激战两天后占领白彦。当晚，八路军又打进白彦同敌人展开白刃肉搏战。日军支持不住，施放一阵毒气后，便逃之夭夭。
日军施放毒气，并未影响八路军的作战，因为战前部队即进行了防化学训练。一九三九年抗大第五期特科防化队部分毕业学员分配到第一一五师后，罗荣桓充分发挥他们的作用。在各旅各团均设置了防化勤务主任，普遍进行了防化训练。这是八路军早期的一批防化兵干部。
在连续十四昼夜的三次白彦争夺战中，八路军歼敌八百余人，缴获长短枪三百余支。
白彦战斗的胜利，给鲁南山区军民极大鼓舞。战斗一结束，周围的老百姓就赶来慰问。有位开明士绅说：“开始我见你们拆毁工事，还认为你们不敢和日军打，现在才知道，这是好计谋啊！”
白彦战斗的胜利，沉重地打击了日伪军，震慑了鲁南地方反动势力，同时也鼓舞了与共产党团结抗日的友军。打白彦时，孔昭同还未编入八路军，他应第一一五师邀请，率部在白彦以北策应。他亲眼看到八路军指战员英勇善战，部队纪律严明，政治工作坚强，从而受到很大鼓舞。就是在这次战斗后，在他要求下，孔部接受了八路军的改编。八路军打白彦前几天，东北军霍守义师因白彦恶霸孙鹤龄父子充当汉奸，勾结红枪会打死东北军的伤员，于二月七日向郑城发动突然袭击，将孙氏父子活捉，随后将他们处决。
在第一一五师进入鲁南取得节节胜利的形势鼓舞下，鲁南各地的地方武装也蓬蓬勃勃发展起来，组建了运河支队、沂河支队、峰县支队、铁道游击队。
白彦战斗的胜利，将敌人控制鲁南山区的这一重要据点搞掉，便为八路军向北面的天宝山区发展扫清了道路。鲁南地区的日伪军遭此沉重打击，感受到了严重威胁。四月中旬，他们集中了近八千人的兵力，分别从邹县、滕县、枣庄、峰县、临沂、费县等据点出动，向抱犊崮山区根据地进行大规模的春季“扫荡”，企图乘青纱帐起之前，一举歼灭八路军。各路敌人互相策应，步步为营，首先在边沿区扫荡了一个星期，从二十一日起，向大炉中心区合围。
敌人“扫荡”的消息传来，罗荣桓正在主持召开全师政治工作会议。罗荣桓与陈光决定，除师机关率特务团两个营，配合鲁南军区四县边联支队坚持在内线与敌周旋外，其他主力部队均置于外线，从背后拖敌人的腿。部署了部队行动后，政工会议在罗荣桓主持下续续进行。四月二十一日，他在吴家沟作了政工会议的总结报告。
随后，为了缩小目标，便于机动，留在内线的师司令部、政治部和鲁南区党委①都分散活动〔一九四○年四月，鲁南地委改为鲁南区党委，书记是赵镈〕。罗荣桓率领师政治部机关，只带了一个连，单独与敌人周旋。
一次，峰县支队的负责人王六生听说罗荣桓身边只有一个第三连，就在附近活动。他们感到太不安全，立即派人送信给罗荣桓，说明他们带了两个连，愿意担负保卫师首长和领导机关的任务。罗荣桓回信说，他不需要警卫部队，要他们按原定计划，转移到外线去打击敌人。
罗荣桓让政治部的人员兼做司令部的工作，组织部兼作战科工作，敌工部、保卫部兼侦察科工作，宣传部负责训练群众进行游击战。他又把机关干部、战士剧社的演员和机关勤杂人员，分别组成游击小组，有的担任警戒，有的外出侦察敌情。有一次，罗荣桓派组织干事周之同和一个油印员换了便衣出去侦察。他们没有侦察经验，罗荣桓耐心地教给他们如何分辨敌人的马蹄印、炮车印，如何监视敌人和如何及时报告。罗荣桓准确地掌握着敌情，有时在几路敌人的结合部穿插而过，有时尾随一路敌人，不即不离，与敌人“捉迷藏”。
一天拂晓，人们还没有起床，哨兵突然发现北面有敌情。这时，第三连也离开政治部去执行任务了，保卫罗荣桓和政治部机关的只剩下一个警卫排加一个班。罗荣桓命令一个班掩护政治部机关向南转移，他带另外三个班爬上村旁的山头，监视敌人行动。这时，在东北角和西北角两面都发现了敌人，正面被山挡着看不清楚。突然间，罗荣桓发现山下有几匹无人看守的洋马，便对警卫班长罗贵明说：“你们派几个人下去看看，把洋马牵来。”警卫班三个战士绕到山下一看，原来敌人的大队人马都隐蔽在山沟里。他们急忙回来报告。罗荣桓听了不慌不忙地说：“不要着急，山下的敌人还没有发现我们，再等一等。”他的判断非常准确，正面山下的敌人虽近在咫尺，却没有发现八路军。两翼的敌人虽然直线距离很近，但是山路崎岖，一时还过不来。罗荣桓举起望远镜，沉着地观察着。敌人越来越近了：五百米、四百米、三百米……当罗荣桓预计政治部已转移到安全地带，敌人相距已不到二百米时，他才转移。罗荣桓面临强敌如此镇定沉着，泰然自若，给大家留下深刻的印象。政治部的干事们都说：跟着罗政委最安全，用不着担心。在反“扫荡”中，机关几乎天天转移，随时会和敌人遭遇，在紧张的行军和作战间隙，大家按照罗荣桓的要求，“该出报的出报，该开会的开会”，机关日常工作一直没有停顿。
罗荣桓与师直属部队待在内线与敌周旋，使敌人疲于奔命。第六八六团、苏鲁支队、教导大队以机动灵活的战术，在外线狠狠打击敌人，有力地牵制了在中心区进行“扫荡”的敌军。特别要提到的是在外线打击敌人的还有铁道游击队。他们多是在铁路上作过工或是铁路附近的居民，能飞身上下火车，神出鬼没地打击敌人。消息迅速传到徐州、济南，迫使一部分进山“扫荡”的敌人撤了回去。
这次反“扫荡”，前后经过一个月，终于粉粹了敌人企图歼灭八路军主力的阴谋，保卫了以抱犊崮为中心的鲁南根据地。在这次反“扫荡”结束时，罗荣桓总结了经验，五月十四日，他在葫芦套召开的干部会上说，要普遍组织游击小组，“凡属我们的部队及机关都要这样做……我们自己先做出一个榜样来，我们要大肆宣传、大肆鼓吹。”他认为，机关人员“除了原固定之职务工作外，还要接受军事锻炼……将来可以出现大批的有作为的指导员干部”。
把机关变成除作本职工作外又充当游击小组的经验，是罗荣桓在反“扫荡”的实践中的一项创造。
罗荣桓还指出，敌人“利用青黄不接、部队与群众粮食困难之际来扫荡山区，我们是有办法克服的。我们把主力运动到敌人后方去活动，很容易解决。再过一个月青纱帐起，我们还可以（到）平原上去活动。”罗荣桓这一思想是他后来提出的“敌进我进”的翻边战术的萌芽。
无论是插、争、挤，还是打、统、反，都要以自己的力量为基础。这个力量就是政权和武装，罗荣桓对此历来抓得很紧。
第一一五师进入鲁南之前，在鲁南只有日伪和国民党的政权。八路军的兵源和财源都无保证。罗荣桓到鲁南后，在创造抱犊崮山区根据地的动员报告中提出：“主力部队不仅有掩护地方党的任务，而且应以武装力量的各方面帮助地方党的工作……，要自上而下，自下而上地争取政权。”为此，罗荣桓首先把第一一五师收复河北省曲阳县后在那里当过县长的师政治部民运部长潘振武派到峰县担任工委书记。潘率领工作队，建立了峰县抗日群众动员委员会。主任是朱道南，参加过广州起义，在当地很有名望。随后，召开峰县抗日人民代表大会，正式选举产生了鲁南地区的第一个县级抗日民主政权--峰县县政府。潘振武当选为第一任县长。接着，又成立了全县六个区乡的民主政权。罗荣桓帮助地方党，将峰县建立政权的经验推广到鲁南其他各县，到一九四○年五月，郯城、费县、临沂、临沭等县的抗日民主政府相继建立。
在这一基础上，罗荣桓又帮助鲁南区党委组建鲁南地区的抗日民主政权。按照中共山东分局的部署，一九四○年六月十一日，鲁南抗日人民代表大会在费县臼子峪召开。罗荣桓在会上作了关于抗日民主政府性质和任务的报告。会议期间，罗荣桓天天忙着接见各地来的代表，倾听各方面的意见。他还以第一一五师政委的名义，邀请各界代表吃了一次饭。虽然连白面馒头也没有，但是罗荣桓诚挚热情的欢迎，使各界代表的心里都觉得热乎乎的。在这次代表大会上，成立了鲁南抗日救国联合总会和鲁南参议会，选举彭畏三任参议长，成立了鲁南行政督察专员公署，由于化琪任专员。于是，在鲁南便从上到下建起了中国共产党领导的抗日民主政权。
在鲁南根据地的政权建设中，罗荣桓时刻注意防止“左”、右两种倾向。他很注意团结坚持抗战的上层人士。他不但对万春圃、彭畏三和郯城县著名的教育界人士高赞非等这些在鲁南很有影响的知名人士委以重任，而且常常与他们促膝谈心，成为他们的知心朋友。
与此同时，罗荣桓也反对只注意上层统战工作，而忽视发动基本群众的右的倾向。他在《关于创造鲁南根据地初步的检讨》一文中深刻指出：不能以迎合地主阶级利益而抹煞和忽视了下层群众工作与广大农民的发动。但要尊重他们一般的利益，去推动他们进步，以求得在目前阶段上不致使封建地主与广大农民发生尖锐的阶级对立，并争取实现广大农民的迫切要求，以便更广泛地发动群众成为宏伟的抗日力量。
罗荣桓还指出：鲁南地区的特点是，封建地主势力十分强大，广大农村被地主武装割据，非常闭塞、落后，群众运动受到压制，而鲁南地区的党组织，是在军事力量推动与统战工作影响下产生发展起来的，群众基础比较薄弱，因此，发动基本群众的工作尤为迫切。
为此，罗荣桓从第一一五师抽调了大批干部，深入基层做发动群众的工作。潘振武当峰县县长以后，罗荣桓又调师教导大队政委刘兴元任民运部副部长。刘原籍是山东莒县。罗荣桓对他说：“你这个山东老乡，下去做做老乡的工作吧！”民运部设有民运工作队，有四五十个干部，绝大部分都长期分散在各个县、区，组织自卫团、农会和各种群众团体，开展减租减息，建立党的组织和区乡政权。
罗荣桓还经常进行农村调查，掌握第一手材料。一九四○年八月，罗荣桓和鲁南区党委书记赵镈一起，到郯码地区检查工作。这正是收高粱的季节。县政府为了保护青纱帐，便于反“扫荡”，下了一道命令，要老百姓只割高粱穗，不要砍高粱杆。谁砍了高粱杆就抓到县政府来审问，有的人还挨了打。罗荣桓知道后，耐心地对县政府的人员说，对群众不要强迫命令，可以动员群众晚砍些日子，但是群众要烧火，要种地，高粱杆迟早是要砍的，不能动不动就抓人，更不准打人。
在建立抗日民主政权的同时，罗荣桓抓的另一件大事，就是发展和巩固抗日武装。
第一一五师进入鲁南后，很快打开局面。但是，主力部队经过多次激烈的战斗，减员较多，可补充却很困难。
一九四○年初，山东分局派社会部长刘居英赴湖西处理“肃托”事件的善后事宜。由第六八六团三营护送。刘居英看到他们总共不足二百人，大部分战士扛着机枪，步枪已经没有多少人扛了。刘居英回来向罗荣桓反映，问为什么不赶快补充，罗荣桓只是笑一笑，未作回答。有一天，地委政府工作部长于化琪，也为这个问题来找罗荣桓汇报。他谈到地方对解决主力部队兵源负有义不容辞的责任，但是当前困难很大，很难满足主力部队的要求，地委书记宋子成为这事急得生了病。罗荣桓很关心地安慰说：“不要着急嘛，告诉宋子成同志，不要感到有压力。”停了片刻，他又说：“这是个大问题，想想看，用什么办法解决，我看办法总是有的。”
过了两天，罗荣桓召集地方和军队的四十多位干部一起开会，研究如何解决兵源问题。罗荣桓说：“主力部队入鲁以后，经过多次战斗，减员比较多，兵员确实需要补充。但解决兵源问题要有条件哩！现在鲁南各地党的组织还没有普遍建立，群众还没有充分发动起来，地方上也有困难，硬要是不成的。”
“怎么解决这个问题呢？”罗荣桓接着说：“首先要广泛深入地发动群众。群众觉悟提高了，兵源的问题自然就好办了。”罗荣桓用亲切的目光望着部队的干部说：“我看现在不是要地方支援部队，而是部队先要支援地方。要从部队中抽调一批干部，深入到群众中去，帮助地方做好发动群众的工作……”
听到这里，军队和地方的干部思想上的疙瘩解开了。大家都轻松地笑了起来。接着，罗荣桓宣布，从主力部队抽调一百多人组成工作团，由师政治部的科长彭亮带队，分赴四县边联一带农村，深入群众，帮助地方党开展工作。工作团下去以后，很快建立了五○多个群众工作点，发展了党员，建立了党支部、基层政权和工、农、青、妇等群众组织，激发了群众的抗战热情。一九四○年春天，临郯苍平原出现了一次参军热潮，仅费南山区就有近千名青壮年报名参军。
为了使主力部队和地方部队都能得到发展，罗荣桓反对主力部队不顾条件强制改编地方武装。他一再强调，地方武装升级，不能用“拔萝卜”的办法，连根拔掉。要留下根，保留好基础，向主力输送一批，地方可以接着再发展一批。
由于注意了调整关系，主力部队和地方部队都有所发展。到一九四○年九月，第一一五师进入山东的第六八五团和第六八六团，在鲁南、鲁西、冀鲁边、苏鲁豫地区同由人民抗日武装起义而组成的山东纵队一些部队合编后，发展到一九个团，共约四．二万人，地方部队也发展到二万余人。
但是，由于当时山东党的工作还未着重抓好减租减息，广大农民没有充分发动和组织起来，兵源问题还没有得到彻底的解决。