一九四○年，第一一五师入鲁部队同中国共产党领导的全国各地区的人民抗日武装力量一样，得到了迅速发展。然而，师的领导干部却长期没有配齐。入鲁之初，罗荣桓政委仍然兼着师政治部主任，由副主任黄励协助他掌管政治部。师参谋长则从一九三八年春天以来，一直空缺。
一九四○年一月间，黄励因为个人问题未处理好而突然自杀，于是，领导政治部的担子又全部落在罗荣桓的肩上。六月，军委任命鲁西军区政治委员肖华任师政治部主任。肖华于九月间到任后，罗荣桓便不再兼主任，而以全力领导全师的工作。
一九三九年底，原来留在晋西南的第一一五师独立支队，对向八路军挑衅的阎锡山部队进行反击后转移到晋西北，翌年五月在支队长陈士榘率领下入鲁，十月间到达鲁南，陈士榘被任命为第一一五师参谋长。
这时，第一一五师的领导班子虽已配齐，但在山东进行抗日斗争的八路军尚未形成统一领导。
自从第一一五师入鲁以来，在山东就存在着第一一五师和山东纵队这两支党的武装，他们当时都是中共中央和集总的直接通（电）报单位，是平行的兄弟部队。为了统一领导、统一作战指挥，一九三九年八月，曾宣布正式成立八路军第一纵队。一九四○年六月，第一纵队司令员徐向前离开山东返延安（从一九四一年起，一纵的番号逐渐不再使用）。
七月十八日，彭德怀致电毛泽东建议：山东暂由陈、罗统一指挥。八月八日，中共中央指示：（中共山东）分局、山纵、一一五师师部应当靠拢住。……陈罗参加分局为委员，实际上统一（山东的）军事领导。二十八日，中央又来电重申上述指示，并明确指出：山东今后应“巩固与扩大一一五师与山纵，使两部打成一片，坚持山东根据地，并在将来必要时，准备再调一部向苏北发展。故山东是你们的基本根据地，华中则是你们的准备发展方向……”中央要求山东纵队和一一五师商量决定具体集合地点。
在一一五师入鲁时，中共中央曾有让该部从山东继续南下的设想。“山东是你们的基本根据地”的指示下达后，任务明确，统一山东的领导和指挥问题也更为迫切了。
对于同山东纵队并肩作战，罗荣桓十分重视。他强调要维护兄弟部队之间的团结。他经常引用毛泽东的话说，如果主力和地方关系搞不好，要由主力负责。这一点中央要求很严格。我们一定要搞好同兄弟部队的关系。为了增进了解、交流经验，在第一一五师和山东纵队之间进行了干部的交流，并互相派人到对方部队观摩学习。
为了打通抱犊崮山区与山东纵队机关驻地沂（水）蒙（阴）区的联系，必须控制费县东部的天宝山区。这一地区山势险峻，交通闭塞，相传从光绪以来，就没有向官府完纳过钱粮，可谓是“天高皇帝远”的地方。三打白彦之后，罗荣桓、陈光即对当地廉德山的地方武装进行争取，并于七月间进驻这一地区，开辟了天宝山根据地，随后将师部北移到天宝山区的桃峪，缩短了与山东分局、山东纵队机关驻地之间的距离。
在中央提出由山纵和第一一五师商量决定如何靠拢后，分局有的领导人致电中央，对第一一五师司政机关多所指责。他还提出：“统一山东党政军民领导之具体事项，待会后再定。”
这里所说的会，就是一九四○年九、十月间第一一五师在桃峪召开的为时三周的第一一五师高级干部会议。罗荣桓和陈光主持了会议，会议的出席者有各支队和师直机关各部门的主要负责人，以及鲁南区党委的负责人。山东分局负责人也出席了会议。这是第一一五师入鲁以后举行的一次重要会议。
罗荣桓在会议上作关于第一一五师在山东工作的总结报告。他说，第一一五师进入冀鲁边、苏鲁豫、鲁西、鲁南等地区后，开辟了根据地，给这些地区输送了近三百名党政干部，帮助建立了一批县级政权，扩大了我军的力量，建立了两个军区，六个军分区。在统一战线中，执行了党的政策，增进与友军的团结，争取中间势力，孤立和各个击破顽固势力，为我党我军的发展创造了顺利的条件。他还用“争、插、挤、打、统、反”这样六个字生动地概括了开辟上述各根据地的经验。
在报告中，罗荣桓指出了第一一五师仍然存在的缺点。
一是军事的发展和党的群众工作配合不好。由于不善于团结地方干部，求得地方党的配合，造成主力的极不充实，同时地方武装工作薄弱，还没有建立起一块巩固的根据地作为基点。二是由于部队分散，没有进行必要的整顿，因而纪律松懈，破坏党的政策，损害党的传统的现象已很严重。
这种违反纪律和政策的事件，最严重的一次就发生在桃峪会议召开前不久。八月间，已编入八路军的天宝山大队队长廉德山叛变，将八路军一个侦察班和师政治部几位民运干部扣押在山寨内。九月二日，八路军向叛匪发起攻击。廉部裹胁了一些群众固守天宝山的险峰南大顶，使进攻南大顶的八路军遭受很大伤亡，激起了八路军指战员的气愤。罗荣桓担心部队攻占山顶以后会违犯政策，立即派政治部的两位科长带了几个干部到前线去。然而，直工科长刘四喜又被打死。另一位科长急红了眼，在攻下南大顶以后，不但没有制止违犯政策的现象，而且自己也枪杀了俘虏。罗荣桓得知后，立即将他撤职，同时批评了有关人员，并派组织部长梁必业去处理善后事宜。随后，罗荣桓又向上级报告此事，作了自我批评。在桃峪会议上，罗荣桓通过这一事件，并联系以前发生的一些问题，再一次强调了执行政策、严格纪律的重要性，使大家受到了一次深刻的教育。
与会者对第一一五师入鲁以来的工作，进行了热烈的讨论。在讨论中也反映出一些不同的认识。主要是集中在对山东形势的估计，以及如何贯彻以游击战为主的方针的问题上。有的领导人认为，自己一方在山东的武装力量已能同日伪军相持，同国民党军队比较，在质量和数量上都初步取得了优势。八路军控制的地区已占全省的六十％，人口也占五十％。基于对形势的这种过于乐观的估计，便倾向于强调建设正规化的主力兵团，打大仗，打运动战（或称运动游击战）；而对于坚持分散的群众性的游击战争，却不够重视，也缺乏更充分的准备。
罗荣桓不赞成对形势过于乐观的估计。他从山东的实际情况出发，认为八路军对敌伪军还是劣势，对国民党军也没有形成优势。他认为，在当时组建正规兵团，打运动战的条件尚不成熟，应坚持进行游击战。
会议期间，集总来电对桃峪高干会议作出指示，批评了第一一五师军队纪律和干部教育方面存在的问题。
对于这些问题，罗荣桓已经作了严肃的处理，并在会上作了严格的自我批评。尽管如此，有的领导人在会上仍然以南大顶事件为例对第一一五师作了严厉的指责。
十月四日，罗荣桓以个人名义致电集总并转中央，表示完全接受集总对一一五师的工作的批评，要求将他调离山东去学习。
十月十七日，毛泽东起草并签发了以他和朱德、王稼祥名义的复电，在肯定集总的批评的同时指出：“一一五师有极大的成绩，你们的总路线是正确的。你们均应继续安心工作，目前没有可能提出学习问题。”接到这一电报后，罗荣桓放弃了个人要求，在十分困难的处境中仍然兢兢业业地工作。
然而，当时由于主客观条件尚不具备，在桃峪会议上暴露出来的分歧仍然没有得到统一。
这次会议还讨论了落实集总的号召，建设铁的模范党军的问题。罗荣桓结合第一一五师的实际，提出要在部队中普遍开展建设铁的模范党军的活动。模范党军的要求是：
一、认真执行党的政策，不折不扣地完成党所给予的任务； 二、普遍深入地建立与群众血肉相联的关系，要成为爱护根据地与民主政权的模范； 三、实现高度的政治团结，建立无产阶级的友谊，自觉地遵守纪律，不断地求进步； 四、灵活、机动、果敢、坚决，发扬我军英勇善战的光荣传统； 五、坚持严肃、紧张、精细的工作作风，坚定不屈不挠的革命立场。
在建设模范党军中，罗荣桓特别重视加强党组织的建设。他在一九四○年十月十日和十月二十八日先后签发了《关于营连党组织的决定》和《建立模范党军的支部工作》两个文件，对加强营连基层党组织建设，作了一系列具体规定。
桃峪会议之后，建设模范党军的活动，在第一一五师入鲁部队中普遍深入地开展起来。不久，在山东纵队中也开展了建设青年模范党军的活动。这对于加强山东八路军建设，提高部队素质，发挥了重要作用。
会议还根据集总的要求，将第一一五师部队（包括师直和原三四三旅加上苏鲁豫、鲁西、鲁南、冀鲁边等地的部分地方武装）统一编成了六个教导旅①〔教导第一旅由苏鲁豫支队编成，旅长彭明治、政委朱涤新，一九四一年初划归新四军建制；教导第二旅由独立支队第一团、鲁南支队和苏鲁支队编成，旅长曾国华、政委吴文玉（未到职，后为符竹庭）；教导第三旅由原冀鲁边区的两个团和独立支队第二团等部编成，旅长杨勇，政委苏振华，一九四一年七月划归冀鲁豫军区建制；教导第四旅由在湖西地区的黄河支队编成，旅长邓克明，政委张国华，一九四二年十月划归冀鲁豫军区建制；教导第五旅由在郯城地区的东进支队编成，旅长梁兴初，政委张国华（后为罗华生），一九四○年十二月调往新四军，一九四二年十二月归还第一一五师建制；教导第六旅由冀鲁边区部队编成，旅长邢仁甫、政委周贯五。以后又在鲁西编了一个教导第七旅，旋划归冀鲁豫军区。当时属第一一五师领导的还有鲁南、鲁西、湖西、冀鲁边四个军区。鲁南军区司令员张光中、政委邝任农，鲁西军区由教三旅兼，湖西军区由教四旅兼，冀鲁边军区由教六旅兼〕，共六万余人。
在此之前，九月中旬，山东纵队已进行了整编，下辖五个旅、四个支队，还有鲁中、清河、胶东军区以及滨海军分区，共五万余人。在此期间，山东纵队有一些部队编入一一五师。一一五师也调拨了一批骨干（其中有红军干部）给山东纵队。中共中央书记处在一九四○年一月二十八日，曾经给北方局、山东分局和第一一五师等发出指示，要求山东在一九四○年把发展武装力量作为一切工作的中心，山东在一年内至少应将武装力量发展到十五万人枪。这一任务约完成了八十％。
桃峪会议结束后，为了便于实行山东军事上的统一指挥，罗荣桓决定按照山东分局的意见，将第一一五师师部转移到沂蒙区。但是他又考虑，鲁南地区既是通向华中的枢纽，又是沂蒙区的屏障，这个地区不能放弃。于是，他把教二旅一部摆在鲁南地区，坚持斗争，随后便与陈光在十一月八日转移到沂水县青驼寺以西的聂家庄。
同山东分局靠拢后，罗荣桓对“抗敌自卫军”这个山东特有的有关党的统一战线政策的比较复杂的问题有了进一步的了解。一九三九年夏天，山东文化教育界的一部分进步人士，受沈鸿烈的排斥，来到共产党领导的根据地。他们中间有老同盟会员、大学教授，也有参加过国民党的进步分子，有的早年就与共产党有过友好关系。他们拥护抗日民族统一战线政策。一九三九年七月，在山东分局的支持下，他们发起成立了“国民抗敌协会”（简称抗协），主要负责人有李澄之、梁竹航、彭畏三、杨希文、路雨亭、耿光波等。作为一个群众组织，在共产党领导的统一战线中，发挥了积极作用。当时，山东分局有的领导人忽视以发展进步力量去争取团结中间力量，反而认为中间力量在顽我之间应起“砝码作用”，于是，产生了把“抗协”组成一个中间力量的国民党的念头，从而违背“国民抗敌协会”许多成员的初衷，硬性将“国民抗敌协会”改成了“国民党抗敌同志协会”①〔参看杨希文：《鲁南国民抗敌协会始末》，《山东党史资料》一九八六年第五期〕。一九四○年七月又帮助“抗协”建立了“抗敌自卫军”，并且供给他们武器和经费，还派进许多干部。这样一来，他们既有“党”又有“军”，而且从上到下形成一套组织，实际上成为在根据地内，与共产党八路军平行的组织。虽然其领导人都是热心抗战的进步分子，但是他们多是知识分子，没有带兵打仗的经验，而且在基层发展的会员中成份复杂，组织混乱。在有的地方出现了与共产党分庭抗礼、争权争位、争人争枪等错误倾向。
罗荣桓对建立和发展抗敌自卫军有不同的意见。一九四○年十一月十九日，罗荣桓与陈光在给第一一五师各单位的指示中提到，对于“抗协”组织，务使其领导权完全掌握在进步分子与对我同情者手里。对于“抗协”的武装，须帮助掌握，防止“造成与我对立现象”，发现有不可靠或别具野心的分子时，另行处理。在无法改造的情况下，则由八路军接收整理。
第一一五师师部同山东分局、山东纵队机关靠拢之后，人多粮少，还碰到一个经济困难的问题。
第一一五师驻地抱犊崮山区和天宝山区，田少石头多，是山东著名的穷地方。部队日常吃的饭同当地老乡一样是煎饼。它是用高粱面或穇子面糊糊，在一种叫鏊子的平底锅上摊成的。高粱煎饼又黑又硬，咬嚼起来十分费劲，额头直冒青筋，得把帽子脱下来。那穇子煎饼中糠很多，吃下去容易便秘。为了便于下咽，在天宝山区烙煎饼时，还在面糊糊里掺一些山梨或柿子。蔬菜十分罕见。战士们时常将柳树叶子腌一腌，卷在煎饼里吃。师部有一些知识分子是南方人，不会卷煎饼，就双手拿着煎饼吃，样子颇象读报。于是，当开饭吃煎饼时，他们便开玩笑地说：“读报了，读报了。”当时罗荣桓有很厉害的痔疮，但也是每天“读报”不已。
吃的是煎饼，穿的是羊毛棉袄。这乍一听满不错，然而，却是名实不符。
一九三九年，一一五师从晋西出发时带了六万元，到鲁南时便花光了。于是南下郯城码头，才筹款解决了当年的棉衣问题。桃峪会议以后，又届深秋，因搞不到棉花，棉衣仍无着落。罗荣桓深入群众调查研究，发现当地养羊不少，便决定就地取材，搜集老乡未经漂洗的羊毛，指战员每人发几斤，发动大家自己动手，用羊毛做絮，缝制棉衣。
正在大家忙于洗晒羊毛，制作棉衣时，陈士榘到任了。一天，罗荣桓同陈士榘沿着河边散步，见到许多战士在岸边石头上用柳条抽打羊毛。陈士榘问罗荣桓：
“这羊毛能不能像弹棉花那样弹呢？”
罗荣桓摇摇头说：“如果有一台破毛机就解决问题了。”停了一会，他又说：“这只有等到胜利以后，现在只能是望梅止渴。”
这一年冬天，罗荣桓和大家一样，也是穿的这种羊毛棉衣。穿这种棉衣，羊毛一根一根地往外钻，弄得到处是羊毛，而且一坨一坨地向下坠，下摆一周是羊毛，上面成了夹衣。就是这样的衣服，帮助第一一五师的指战员们度过了鲁南的严冬。
百团大战第一阶段①结束后〔百团大战第一阶段集总未给山东分配作战任务〕，集总曾打算扩大战果，要求山东八路军在胶济、津浦和陇海路东段进行大规模的破袭战。一一五师师部已为此拟定了计划。十月二十九日，集总又致电朱瑞、陈光、罗荣桓，提出：“陇海、津浦（日军）似正在运转兵力，故大破袭战应以推迟至十月底十一月间为宜。”但是这一破袭战终于没有举行。其主要原因是时局发生了重要的变化。百团大战之后，日本帝国主义惊呼：“对华北应有再认识”，决定对华北各抗日根据地实行“更大规模的报复作战”①〔参看《中共党史大事年表》，人民出版社一九八七年四月第一版，第一四八页〕。与此同时，又加紧对蒋介石诱降，极力挑拨国共关系。蒋介石则积极策动第二次反共高潮。一九四○年十月十九日，蒋介石限令在大江南北坚持抗战的八路军、新四军于一个月内开赴黄河以北。苏皖形势，顿时紧张。在山东，日伪军、国民党军和八路军的三角斗争日益尖锐。罗荣桓对局势的严重性，作了充分的估计。与山东分局靠拢后，十一月十四日，他出席了山东艺术工作者联欢大会并发表了演讲。罗荣桓历来重视文艺工作，但是在这一演讲中却通篇都没有讲艺术工作问题，开宗明义第一句就是：“目前的时局正处在严重的激烈的变化中。”他分析了战争的形势和中国大地主大资产阶级的动向，说：“他们正在布置着大规模的反共反八路的军事行动。”“我们的任务就是反投降反内战。准备力量粉碎反共势力的进攻与敌人‘扫荡’的配合，坚持独立自主的民族解放战争。”他特别强调：“我们要加紧战争的动员，要防止在严重局面下可能产生的失败情绪。另一方面要克服对目前时局麻木不仁的状态，要加紧自己的准备工作，以应付可能遇到的大的打击，以避免使革命力量遭到不应有的损失。”
这时，蒋介石正在命令汤恩伯、李品仙布置对华中新四军的进攻。由于华中形势紧张，罗荣桓与陈光按照军委和集总的部署，派政治部的部长梁必业、赖可可、王立人等分别到教五旅和教二旅去传达准备南下支援新四军的有关指示，要求对国民党顽固派的进攻保持高度的警惕。十二月间，第一一五师教五旅奉命过陇海路南下。一一五师的部队，对可能继续恶化的局势作了充分的准备。一九四一年一月初，发生了震惊中外的“皖南事变”。在山东，国民党顽固派加紧进行反共活动，日军、国民党军、八路军的三角斗争更加尖锐复杂。
在如此严重的局势下，山东分局、第一一五师师部和山东纵队三个大机关挤在一起，非但给养不好解决，而且目标也太大了。从长远打算，罗荣桓认为一一五师指挥机关，需要设在一个比较稳定、物质条件较好的根据地中，以便更好地指挥全局。一九四一年三月初，师部与山东分局转入滨海区，山东纵队指挥机关仍留驻沂蒙（鲁中）区。
滨海区在山东的东南部，东滨大海，西界沂河（含临沂），北起胶济路，南抵陇海路。这个地区盛产鱼盐，经济富庶，有较好的物质条件，也有较强的革命基础。抗战爆发后，这个地区的共产党员在山东省委领导下，积极组织抗日武装，开辟抗日根据地，创建了山东纵队第二支队。一九三九年十一月第一一五师部队南下郯马平原，便开始进入滨海区南部积极发展。但是，当时滨海区的县城和大集镇都为日伪军所控制，并由公路联结。同时，东北军和其他一些国民党军又控制了诸（城）日（照）莒（县）山区，东北军第十一一师并伸进了日莒公路以南的甲子山区。当时八路军的活动主要限于郯马地区和陇海路附近的赣榆北部、莒县南部一带地区。一九四○年九月，在这个地区活动的山东纵队第二支队和第九支队合编为山东纵队第二旅。一九四一年春，为了进一步扩大滨海根据地，第一一五师决定由教二旅和山纵第二旅一部发起青口战役。从三月十九日开始，经过六天激战，连克海头、大沟等十余据点，并一度攻入青口和下口，解放了从柘汪到下口之间的海岸线和大片地区，打通了从海上与华中及胶东等地的联系，并为发展盐业生产和海上贸易打下基础。从此，中共山东领导机关一直在这一地区坚持斗争，直到一九四六年。
罗荣桓与师部机关，三月六日东渡沂河和沭河，一七日进驻莒县南部十字路（现为莒南县县治）地区，随后南移到蛟龙汪（现临沭县东南）。
山东分局和第一一五师师部刚刚转入滨海地区，四月五日，中共中央军委来电指出：“山东、华中敌顽我的三角斗争是长期性的，三方中无论哪一方均不可能迅速解决问题，……因此，你们（的）战略部署，须适应上述根本情况，作长期打算，勿为临时消息所左右。”从中央军委这一指示可以看出，认为八路军已在山东取得“初步优势”的估计显然是太乐观了。
然而，有些干部六月间还是在莒县南部板泉崖以东的刘家河组织了一次八大剧团的联合公演。几个剧团都演了大戏，如《雷雨》、《李秀成之死》等等。
罗荣桓不赞成在敌后演大戏，因为这样搞必然会引起敌人注意。为了防止意外，他派出参谋，加强对敌情的观察和警戒。果然，不出所料，会演结束后的第二天，敌人就来“扫荡”。这边刚刚撤出村子，那边敌人的炮弹就打过来了。幸好事先有准备，才避免造成损失。
在这种严重的局势下，中共中央于五月十二日又来电指出：“估计到华北现状，敌后游击战争特别是平原游击战争的方针，应该是长期坚持熬时间的过程。因此，在今年青纱帐中，部队以不过于消耗为原则，尽量争取部队休息、整理、训练。”
遵照这一指示，罗荣桓和陈光组织了师直属队和在滨海区的部队进行了整训。
抗战开始以来，第一一五师有一些指挥员习惯于十年内战中打运动战时那种猛打猛冲的战术。在同优良装备的日军作战时，有时伤亡较大。一九四一年二月七日，教二旅副旅长张仁初带着一个团向郯马地区出击时，在重坊附近与从新安镇（今新沂县城）出来“扫荡”的数百名日伪军相遇。敌人在密集的炮火掩护下向我军进攻。张仁初跨上战马，举起枪高喊：“共产党员跟我来！”战士们跟着他勇猛地拼刺刀，给了敌人以沉重打击。但是我军的伤亡也很严重。战后，罗荣桓看到指战员牺牲名单时，十分惋惜而又沉痛地说：“都是多么好的战士啊！”
就在这时，张仁初来了。他一脸打了胜仗后兴奋的神情，老远就喊了一声：“政委！”可罗荣桓这次既未让坐，也未给他倒茶，而是狠狠地盯着张仁初，劈头就问：
“张仁初，你是来请功的吧？你是来领赏的吧？”
张仁初懵了，愣愣地站在那里。
罗荣桓厉声说：“告诉你，我这里没有功给你，没有赏给你。你真是个疯子！你还我干部，你还我战士！”
一向稳重和蔼的罗荣桓，此时怒容满面，透过黑边眼镜，可以看到眼睛里饱含着的泪水。“你违反了游击战的原则，拚掉了我们的红军老干部。你赔我的干部来！”
张仁初一声不吭，低着头站在那里。他的眼圈也红了。
罗荣桓的情绪慢慢平静下来，语重心长地说：“干革命不能单凭一股冲劲，打仗也不能只靠勇敢。现在我们是开展游击战，不是打阵地战。只管打得过瘾，动不动就硬拚，革命的本钱被拚光，我们怎么向党向人民交代啊！”
张仁初低着头，十分沉痛地说：“政委，我错了，我请求处分。”
“处分你有什么用？好好地记住这血的教训吧！”
张仁初一辈子都忘不了这件事。每逢提起，他总是十分后悔地说：“唉，罗政委说得对，我真是个疯子。”
针对重坊战斗这一类情况，四月二十四日，罗荣桓在司令部研究整军的一次会议上说：“现在的具体条件不同了。我们在国内战争时期的经验，不是全部都可以适用于今天的。”
七月间，他和陈光在发给各单位并报集总、军委的一份电报中指出：“部队对军事学习和战术素养的提高未引起重视，以致虽在实战中表现英勇顽强，但在战术上非常不够灵活、机动、巧妙，致每次战斗都有较大伤亡。仅一九四一年一月至七月，即伤亡五千五百三十五人。”“部队自转入敌后，由于战斗的频繁，部队军事教育不认真、不精细、不深入、不严格、怕麻烦，存在游击主义的习气与工作方式，使许多优良传统、好的作风逐渐荒疏。干部不注意军事学习，不看军事书籍，在这次干部军事测验中，部队干部一百零五人测验，仅三十八人及格。机关各部一百二十八人测验，仅三十四人及格。总平均分数是五十二。六分，相当惊人。”
这份电报还列举了军事指挥脱离敌后游击战争实际的问题。比如，小部队作战指挥，多取正面进攻，队形过于密集，不善于利用地形地物采取灵活的队形与姿势。
针对上述问题，罗荣桓与陈光提出要加强军事教育的组织领导，对教育要当作战斗任务来完成；造成干部学习军事、提高战术素养的热潮，培养大批灵敏勇敢有高度战术素养的指挥员。对上级的一切指示、命令、通报等文件，一定要细心研究，结合实际严格执行；战斗之后，各级都要总结经验教训，作为训练的教材；教育要严格、认真，贯彻少而精的原则，讲求实效，不白费精力；加强战士的军事技术教育，如射击、刺杀、投弹、近迫作业和防空、防毒，对付敌坦克、装甲车、炮兵，以及夜战、伏击、袭击的训练；干部要熟悉部下，密切指战员的关系，各级干部定期向部下进行行政管理教育，讲部队倾向与克服办法；加强体力锻炼，加强各种徒手、器械体操及障碍竞走的训练。
一九四一年八月一日，第一一五师在蛟龙汪举行了规模盛大的军政检阅大会，进行了射击、投弹等军事项目的比赛和政治测验。一九四一年到一九四二年，第一一五师的军事训练取得很大成绩。指挥员明确了游击战争的战略战术思想，战斗员提高了军事技术水平，部队战斗力大大加强，歼敌人数不断增多，而伤亡明显减少。一九四一年一至七月平均每月伤亡七百九十余人，到一九四二年每月平均伤亡下降到二百九十余人。这是罗荣桓领导第一一五师指战员，贯彻执行积蓄力量，坚持游击战争，准备将来反攻的总方针所取得的一项丰硕成果。
一九四一年“八一”军政大检阅以后，从八月二十二日开始，第一一五师在蛟龙汪又召开了为时一个多月的政治工作会议，全面总结了抗战四年来政治工作的基本经验。罗荣桓在会上作了重要讲话。
会议由肖华作报告，报告稿是按照罗荣桓的意图起草，并经他修改审定的。
报告明确指出：“政治工作是革命战争革命军队的生命线，政治工作最基本的任务，就是巩固与提高部队的战斗力，保证战争胜利。”报告说：“战斗力不但取决于军事技术的高低，而且主要是取决于政治工作的强弱。没有政治工作，就没有战斗力，也不可能保证战争的胜利。我军所以能百战百胜，无坚不摧，成为革命战争中最优秀的铁军，就是因为有党的保证以及整个政治工作的保证。”
罗荣桓一贯强调政治和军事要紧密结合，强调政治工作的保证作用。他在一九四一年四月二十四日的司令部部务会议上说：“党对各部门工作的领导，是以党的组织政治工作去保证，但另外一方面，不可缺的一方面，要以行政工作的决定与实施，去完全适合党的总方针，并以行政系统的指导工作，把党的政治工作与全部行政组织工作结合起来。……政治工作落于空洞，不实际，甚至与行政工作失去协调，这就必然妨碍党总的方针在某些部门中具体的实现。”
罗荣桓认为，政治工作的保证作用表现在它用不同于军事工作的方法，来达到共同的目标，而不是要和军事工作争权。他在教二旅工作总结会上说：“在军事管理方面，是有些带强制性的，以弥补政治自觉之不够，巩固高度的集中行动，保证战斗任务之完成……而政治工作的方式方法就要有所不同，必须更艰苦耐烦地说服教育与发扬较多之民主，来启发战士的情绪，达到同一的目标--完成战斗与工作任务。这种不同的方式，不能解释为连长权大，政治指导员权小，更不能由此引起关系的隔阂。相反地应该发扬互助精神，求得工作步调的一致。如在队前执行纪律时，这是军事指挥员的职责，政治工作人员便不能随便去代替。……要经政治工作去保证军事纪律的执行，并提高指挥员的威信，任何对立与推诿责任的现象都是不许可的。”
罗荣桓认为，要做好政治工作，必须首先发挥政治干部的表率作用。他强调，政治干部的威信，要靠自己模范的行动，模范的工作去取得。他常常说，红军时期党代表的威信很高，党代表和士兵的关系很密切。行军的时候，官长经常骑着马在队伍前面，党代表走在后边，替士兵背枪，和士兵同甘共苦，士兵对党代表很拥护。如果下个命令，没有党代表的署名，士兵对这个命令就怀疑，这没有什么制度规定，完全是士兵自愿地尊重党代表。
罗荣桓以自己的模范行动，为政治干部作出表率。他谦虚谨慎，平易近人，同志们都把他当作贴心人，都愿意和他说心里话。他能听正面的意见，也能听反面的意见。他听取意见的时候，从不打断别人的讲话。对讲错了的给予正确引导，耐心启发，从不扣大帽子，使人在不知不觉之中，潜移默化，受到教育。抗战初期，有位团政委调到机关当组织干事，不安心机关工作。罗荣桓从侧面了解了这一情况后，有一天，和他拉家常，先问他是哪里人，哪一年参的军。然后说：“在组织干事中，你的资格是最老的吧？”“是的。改编八路军时，给我评的是少校干事。”罗荣桓又问：“论部队实际工作经验，你比其他同志大概多一些吧？”他笑了一笑感到这是对自己的鼓励。接着，罗荣桓便谈到机关工作与部队工作同样重要，机关干部不能光用年青的知识分子，还需要有一些资格老一点的、有部队实际工作经验的同志作骨干。他好像是和那位干事一起研究工作，没有丝毫批评和指责，那位干事本想提出调动工作的要求，但是听了这一席语重心长的话，认识到机关工作的重要，感到领导的信任，便不再提个人的要求了。
罗荣桓强调政治机关要联系群众，深入实际，面向连队，对部队来的指战员要热情、和蔼，及时解决下面提出的问题，不能马上解决的也要把道理讲清楚。真正做到使政治机关成为干部之家，使干部感到很温暖，有什么问题都愿意来反映，千万不能把政治机关办成阎王爷开的店，连个鬼也不敢上门。下面的负责干部到师部来，罗荣桓总是亲自去招待所看望；干部负了伤或生了病住进医院，他经常去慰问。
为了使政治工作能从实际出发，有的放矢，罗荣桓强调政治干部不仅要懂政治，而且要懂军事、懂业务，了解战争，熟悉部队。他每天都到司令部作战室去阅读和研究军事情况的报告，还时常督促师政治部的部长们，到司令部看军事文电，及时掌握各部队作战情况。他常常派政治机关的干部下部队任职，到前线锻炼，同时又从部队抽调干部到政治机关工作。
与此同时，他又要求军事、供给、卫生等部门的党员干部增强党的观念，尊重党的工作机关。在他倡导下，第一一五师规定，旅长、团长调动工作，除条件不允许者外，都要到政治部组织部来谈话和办理手续。所有党员对政治机关提出的政治学习、支部工作等各项要求都要积极响应，认真完成。所有党员都要参加组织生活，向组织汇报自己和周围群众的思想状况，党员交纳党费、转组织关系，都要自己去办，不允许由秘书、通信员代替。
政治工作的中心环节是干部教育。罗荣桓对这项工作抓得很紧。他经常对干部说：“虽然现在是战争环境，但是我们必须从紧迫的时间里再挤出些时间来，多读点书，多学习些东西，以适应未来革命的发展。”在他的倡导和带动下，第一一五师和山东纵队规定，只要情况许可，干部每天都要挤出两小时进行学习。为了提高干部的理论水平，罗荣桓还给师直属队的同志系统宣讲了毛泽东的《新民主主义论》。他要求广大干部战士都要懂得，除了争取抗战胜利之外，革命还有更远大的目标，就是实现社会主义和共产主义。从而提高指战员的政治觉悟，坚定革命的意志。
干部教育还包括文化教育。对此罗荣桓一贯重视。早在一九四○年三月二十四日，罗荣桓在《关于巩固、严密及审查部队党组织的指示》中便指出：“提高文化水准须认为是提高政治水准的重要手段，不能识字要识字，不能阅读要阅读，不能书写要书写，不能作文要作文。因此，提高文化水准不仅限于在一般党员中……还应包括高上级干部，须按各人现有程度提高。”
罗荣桓签发这份文件以前，专门对师直部分干部的文化水准作了了解。当他得知教导大队长李梓斌在文件上签名将“斌”写错了时，便派人将李请到师部，和蔼地问道：“你读过书没有？”
李：“我是平江山沟里的放牛娃出身。小时候听说附近庙里有个教书先生，可学堂的门朝哪儿开我还不晓得呢。”
罗荣桓被他逗得笑了起来：“啊呀，我还不晓得呢，你后来是怎么识字的？”
李：“我是当连长开始学的。以前当班、排长的时候，连钟表也不认识，搞不清几点钟。夜里换岗都是点根香，以香为准，一刮风，那岗就换得快了。当连长后，上级来了通知，我连‘通知’这两个字也不认识，就让文书给我念，念完后，通信员叫我在通知上画个‘知’字。我不会画，文书就教给我。因此，我头一个会认的字就是这个‘知’字，以后再一个一个地学。”
罗荣桓颇有兴致地听他讲完，然后问道：
“听说你签名有时还要文书代笔，是吗？”
“是的。”
“连自己的名字都不会写，那怎么行呢？”罗荣桓皱起了眉头。
李梓斌辩解道：“现在我有图章了。到时候，盖个章就行了，不用签名。”
“唉，”罗荣桓摇了摇头，“老粗太粗了也不行啊！你识多少字啊？”
“我也不晓得。不过，一般文件都能看下来，可字潦草了不行。陈光代师长的签名一笔一划写得真，我能认得。不过，有的字笔划多，就秀才认半边，念白字是常有的事。”
罗荣桓语重心长地说：“偶尔念个把白字，也在所难免，但多了就不好了。教导大队好比是一所学校，你这个大队长就好比是校长，你都当了校长了，不提高文化水准不行，字不但要会念，还要会讲、会写、会用。”
李梓斌问道：“那我应该怎么学呢？”
“用到什么，你就可以学什么，慢慢的积少成多。比如唱歌：游击战，敌后方，坚持反‘扫荡’……你不仅要会唱，而且要会讲、会写、会用。”罗荣桓招呼李梓斌坐到自己跟前，拿起了一支铅笔边写边说：“比如这个游，就是游来游去，活动的意思……”
罗荣桓在逐字讲解了歌词后，问道：
“你回去打算怎么办啦？”
李梓斌激动地表示：“我回去一定好好学习。”
他回去后，买了纸、墨、笔、砚，装进自己缝制的布袋，走到哪里，写到哪里，有时反“扫荡”上了山，就用大石头当桌子，坚持练习。几个月后，他的文化水平提高得很快，他的作业在“八一”军政大检阅时被展览出来，得到领导和群众的赞扬。
一九四一年七月，中央军委政治部印发的第三号《宣教通报》介绍了第一一五师干部教育的成果。通报说：“一一五师半年来干部教育，在政策教育和文化教育方面收到了比较显著之成绩。主要表现在一般干部都知道对根据地的工作应作长期打算，表现在违反政策以及各种不良倾向的减少，有个别干部受训前常犯错误，受训后则（判）若两人。文化教育的收获表现在工农干部文化程度的提高，有几个旅级干部过去识字很少。现在能自己起草电稿和写信……有几个团能做到全体干部作日记。有几个连队由于干部文化学习的推动与影响，使战士学习情绪提高，有（的连）全连九十四个战士能记日记。”
罗荣桓认为，连队是战斗编成的基本单位，政治工作的基础在连队。一九四二年三月十五日，师部召开连队工作会议总结介绍教二旅的经验时，罗荣桓专门谈了连队政治工作问题。
他指出：连队一切工作要求与组织形式都是以完成战斗任务为目的。因此，连队政治工作人员的任务，主要是以政治工作的手段，来保证战斗任务的完成。罗荣桓指出，作为一个政治指导员，决不能成为一个事务主义者，更不能代替军事行政，对军事行政的关系是从政治工作中去坚强军事行政，是要在耐心与不断的教育中，去逐渐提高战士的政治觉悟，一直提到可能提高的程度。然而，在教育的内容上应当实事求是，不能有过高的要求。基本教育应有充分的现实的内容，切忌任何抽象的东西，一切问题要从战士能够领会讲起。要用老师教学生、长兄教幼弟的办法，来教育战士。
罗荣桓非常关心连队的生活和战士的疾苦。他每次到连队，总要到伙房看看伙食好不好；有时还到厕所去看看清洁不清洁、方便不方便；战士没有牙刷、牙粉，他提出用纱布和盐代替；发不起蚊帐，他建议用蒿草熏蚊子。他还特别嘱咐连队指导员要做好来队家属工作，吃饭时要给来队家属加菜，放哨时要安排替班，让战士和家属有较多的时间在一起。他认为，只有耐心的说服教育加上对战士体贴入微的关怀，才是巩固部队的根本措施。
罗荣桓很重视运用报纸对指战员进行宣传教育。开始《战士报》是油印的，每期两版，只能登二千多字。可有的编辑写文章，词句罗嗦，拖得很长，一期报纸登不了几篇稿子。有一天，罗荣桓亲自参加《战士报》社的座谈会，他针对报纸存在的问题，要求写短文章。句子要短，少用形容词，简单明了，使文化水平较低的干部战士能一目了然。为此，他要求编辑、记者深入部队，深入实际，熟悉连队，熟悉战士。罗荣桓还经常亲自审改《战士报》的社论和重要文章，有时自己动手写社论。
为了加大报纸的容量，提高报纸的印刷质量，罗荣桓积极主张将油印改为铅印。他听说在湖西活动的教四旅有印刷机，便吩咐去教四旅检查工作的组织部长梁必业把印刷机带回来。梁必业带了装运印刷机的船队过微山湖东来时，罗荣桓派教二旅第五团的干部带了几百名战士去接。印刷机运到后，《战士报》即改为铅印。这时，罗荣桓又教育印刷厂的干部和工人，在物质条件有了改善的情况下，仍然要继续发扬艰苦奋斗、自力更生的精神。当时报纸没有铜版，无法印刷照片。报社干部设法用木刻印出宣传画。罗荣桓看了，马上给予表扬。
有一次，印报的纸张没有了，供给部不拨给报社买纸的经费。印刷厂的负责人向罗荣桓汇报。罗荣桓说：“走，你跟我去找供给部。”他对供给部长说：“为什么不给报社经费呀？你们不要轻视报纸工作嘛，有时一个铅字比一颗子弹还重要！”
罗荣桓非常关心战士剧社的成长。他给年轻的队员们讲剧社的历史，要求战士剧社要有战斗作风，要继承红军的优良传统。在艰苦的战斗环境中，宣传队员们自己组织了战斗班，扛起大枪，经常跟着罗荣桓反“扫荡”，一面行军打仗，一面搞宣传工作。
为了使文艺更好地为工农兵服务，罗荣桓鼓励战士剧社编演战斗性强、群众喜闻乐见的小节目。战士剧社的王汝俊编了一个关于发动妇女参加抗日的小戏，叫《老太婆的觉悟》。剧社社长朱明男扮女装演老太婆，非常逼真。罗荣桓去看了两三次，给作者和演员以热情的鼓励。在一九四一年“八一”举行军政检阅时，这个小戏被评为文艺一等奖，发了五元钱的奖金。
对宣传队员，罗荣桓既在政治上关心他们的进步，又在生活上给予无微不至的关怀。当他知道队员们烟不够抽时，就嘱咐管理科长说：“剧社的教员都是文艺工作者，写作、演出，常常熬夜，还要同大家一样行军打仗。凡是会抽烟的，今后每人每月发给一斤黄烟。”