一九二九年三月中旬，红四军歼灭土著军阀福建省防军第二混成旅郭凤鸣部两个团，攻占长汀，打开了闽西局面。在长汀，部队番号作了改变。团改称纵队，营改称支队，连改称大队。第二十八团主力编为第一纵队，第二十八团余部和特务营编为第二纵队，第三十一团编为第三纵队。第三纵队司令伍中豪，党代表蔡协民。罗荣桓任第三纵队第九支队（即原三十一团三营）党代表，九支队长是张宗逊。
六月下旬，红四军第三次打下龙岩后，召开了红四军党的第七次代表大会。在会上围绕党对军队的领导问题进行了一些争论。这一争论早在井冈山时期即已产生，有的人对党支部决定连队的问题有怀疑，有的党员认为党的严格纪律约束了个人自由。此外，虽然经过了“八月失败”，但建立根据地的思想尚未为当时红军领导人所普遍接受。
关于这次争论，罗荣桓在一九五六年回忆说：“有的高级干部、知识分子感到约束很大。一切重大问题由党来决定，这当然是对的，在今天看来是不成问题的，党员自然要服从党的决定。但在那时候，这个问题却没有解决。一切要经过支部，一切权力归于党，引起了许多同志不满。但毛主席对原则问题是不让步的。七次代表大会所争论的主要就是这个问题，就是有一些人存在着不满情绪。”
与这一问题相联系，会议还争论了究竟是政治部出布告，还是司令部对外，政治部隶属于司令部。在会上，还有人认为，民主了半天，最后还是党代表集中，是“自上而下的民主制”，实际上是家长制。他们主张实行“自下而上的民主制”，一切问题都由大家来讨论决定，如此等等。
从秋收起义以来，罗荣桓便在毛泽东领导下工作，他亲自贯彻执行了毛泽东的许多主张。例如，支部建在连上，实行党代表制，三大纪律六项注意，部队要做群众工作，要建立根据地等等，这些主张完全切合部队实际情况，效果都是明显的。毛泽东关于反对流寇主义、反对单纯军事观点、反对极端民主化的思想都是正确的、无可怀疑的。不这样做，就会失败。“八月失败”就说明了这一点。而毛泽东关于加强党对军队领导的主张牵涉到要把红军建设成一支什么样的军队，更是必须坚持的。因此，在红四军“七大”会议上，罗荣桓发言表示坚决拥护毛泽东的主张。但是，这种意见在会议上只占少数。会议改选陈毅为前委书记，毛泽东离开红四军，到闽西特委指导工作。
七月底，蒋介石发动闽、粤、赣三省的第一次“会剿”，红四军决定，第一纵队和第四纵队①留在闽西坚持斗争〔一九二九年一月由闽西地方红军编成〕，第二纵队和第三纵队出击闽中。与此同时，陈毅赴上海向中央汇报红四军的状况和红四军“七大”中的分歧意见。
由于闽中群众工作没有基础，出师不利，朱德决定，回师闽西。九月，第二、三纵队和一、四纵队会师后打垮土著军阀福建暂编第二旅卢新铭部，攻占上杭。九月下旬，在上杭召开了红四军党的第八次代表大会。
这时，由于实行了否定民主集中制的“由下而上的民主制”，实际上是极端民主化，问题无论巨细都毫无准备地拿到会场上争，往往争论终日得不到一个结论。
红四军“八大”在这种极端民主化的气氛中开幕以后，“为了一个红军法规中的党代表权力问题，讨论了两天仍旧没法解决”。①〔熊寿祺：《红四军状况报告》，一九三○年五月十六日〕这次会在无组织状态下开了三天，毫无结果，引起许多同志不满。在会上，罗荣桓等发言，要求将毛泽东请回来领导红四军。但是，毛泽东仍然留在闽西。
十月上旬，中央要求红四军乘两广军阀混战、粤北空虚的机会，向东江地区出击。当这一指示到达红四军时，两广军阀混战已经停止。然而因为消息闭塞，前委仍然照中央指示执行，率第一、二、三纵队开往东江地区。
十月二十二日，陈毅从上海返回部队，带来了他根据周恩来多次谈话和中央军事会议精神所写、经周恩来审定的指示信（即九月来信）。指示信肯定了红四军的斗争经验，要求前委维护朱德、毛泽东的领导，明确指出，毛泽东应仍为前委书记。
十月二十五日红四军攻入梅县后，撤出稍事休整。十月三十一日又返转来打梅县。罗荣桓率领九支队打进了北门。敌军凭借街道两旁的楼房，用手榴弹、机关枪封锁街道。我军队形拥挤，又无工事掩蔽，伤亡达二百多人。罗荣桓腰部右肋骨下，被子弹打穿，负了重伤。谭政、孙开楚两人冒着弹雨，将他抬下了火线。
罗荣桓被敌人的子弹打中，这已经不是第一次了。在井冈山时期的一次战斗中，他正带领战士们与敌人激战，突然感到胸前似乎被人打了一拳。他也没有在意。战斗结束后，他才发现自己上衣的口袋已经烧破了。他一摸口袋，那作为零用钱发给他的一块银元居然还在。他把这银元掏出来，摊在手心，回想着方才的战斗情景，一切都明白了，原来子弹正好打在银元上。他摇摇头，道一声“惭愧”，不禁哑然失笑。他后来诙谐地对家里人说：“要不是这块银元保驾，那一次我已经去见马克思了。”
罗荣桓躺在担架上，随着打了败仗的队伍匆匆北撤。当时部队里连纱布、碘酒也没有，医务人员只好随便找上点白布将他的伤口裹上。殷红的鲜血早就把裹伤口的白布浸透了。在崎岖的山路上，担架不住地颠簸，引起罗荣桓伤口一阵阵剧痛。他咬紧牙关，还不时安慰为他的伤势焦虑的医务人员。
队伍撤到寻乌，才找到碘酒纱布。十一月二十三日，红军收复汀州，红四军前委召开会议，决定请毛泽东速回红四军主持前委工作。同日，罗荣桓住进了汀州傅连暲开办的福音医院。自从红四军一九二九年三月打下汀州后，傅便倾心革命，带领医院积极救治红军伤病员。由于红军当时尚无较稳定的根据地，红四军撤离汀州后，医院仍留在汀州，利用教会和红十字会名义及傅在当地上层人物中的关系，继续掩护和医治红军伤病员。
这时，罗荣桓的伤口已基本愈合，但因为负伤时失血过多，身体仍然十分虚弱。为了给罗荣桓补血，加强营养，傅连暲天天让他吃猪肝，可又不让他吃一点辣椒，因辣椒是有刺激性的东西。罗荣桓住了十天院，几乎天天都吃不放一点辣椒，盐也放得不多的猪肝汤。他既衷心地感谢傅医生对他的关心，可又感到实在有点吃腻了。后来他经常对傅连暲开玩笑说：“你的猪肝我可是吃够了。”傅便双手一摊，无可奈何地说：“当时为了加强营养，除了猪肝，我是什么也拿不出啊！”
十一月二十六日，毛泽东回到红四军前委。二十八日，前委召开了扩大会议，决定部队整训，同时准备召开红四军党的第九次代表大会。
十二月初，罗荣桓出院归队，随即率领第三纵队第九支队来到连城新泉，参加部队整训，军部也驻在这里。
在此期间，毛泽东集合了一批党代表，用半个多月时间，召开了多次座谈会，进行调查研究，为召开红四军党的九次代表大会作准备。罗荣桓自始至终参加了这些会议，并积极反映了部队的情况。他讲了废止肉刑，反对打骂士兵的问题。他说，第九支队有一位军官，打人很凶，士兵就送了他一个绰号，叫“铁匠”。这个典型写进了古田会议的决议。
十二月中旬，部队由新泉开往古田，罗荣桓等党代表又参加了毛泽东召集的会议，逐条讨论，起草了红四军党的第九次代表大会决议草案。
十二月二十八日，红四军党的第九次代表大会，即著名的“古田会议”在古田的溪背村廖氏宗祠召开，毛泽东作了关于大会八个决议草案的报告，朱德作了军事报告，陈毅传达了中央九月来信并就禁止枪毙逃兵问题作了发言。由于大会八个决议草案是会前经过充分酝酿，集体讨论后由毛泽东起草的，因此很顺利地为大家所一致通过，这就是《中国共产党红军第四军第九次代表大会决议案》，即“古田会议决议”。在这一决议中，毛泽东系统地总结了红四军建军的经验，确立了人民军队建设的根本原则，奠定了红军政治工作的基础，使红军得以肃清一切旧军队的影响而成为一支新型的人民军队。
大会接着改选了红四军前委。这次大会提出，候选人必须具备“政治观点正确、工作积极、有斗争历史”三个基本条件，才能当选为委员。会议经过充分酝酿，选举了毛泽东、朱德、陈毅、李任予、黄益善、罗荣桓、林彪、伍中豪、谭震林、宋裕和、田桂祥十一人为正式委员，杨岳彬、熊寿祺、李长寿三人为候补委员。在前委一九三○年一月六日向中央的报告中指出：“此次选举精神，一洗以前的故习，……内中如宋裕和（湘南农民）、李长寿（独立团老兵）、田桂祥（湘南农民）、黄益善、罗荣桓五位同志皆系作下层工作，以观念正确，斗争积极，经前委介绍而当选。”
罗荣桓的一贯表现和在古田会议前后的作用得到了毛泽东的称赞。在古田期间，有一次，毛泽东和刚从上海调来的前委秘书冯文彬在散步，这时罗荣桓恰巧从一旁走过。毛泽东指着罗荣桓对冯文彬说：“这个同志是个人才，是一位很好的领导干部，对这个同志，我们发现晚了。”
古语说：“桃李不言，下自成蹊。”沉静稳重的罗荣桓就是不言的桃李。由于他不露锋芒，便很难脱颖而出。人们发现他的才干就需要一个过程，连以知人善任著称的毛泽东都对他发出了“发现晚了”的慨叹。
古田会议结束后不久，朱德率红四军第一、三、四纵队从古田出发，进军江西。毛泽东率第二纵队断后，同时改组了这个纵队的领导机构：曾士峨任司令，罗荣桓任政治委员①〔根据中央九月来信，此时党代表已改称政治委员〕，原二纵队五支队党代表罗瑞卿任纵队政治部主任。
这支部队的骨干力量是原军部的特务营。它是由国民党起义部队编成的。在起义之初，队伍里有不少士兵是既扛步枪又带大烟枪的“双枪”兵。为了将这支队伍改造成为真正的人民军队，前委派去了各级党代表，补充了一批经过革命战争锻炼的战士，建立了党支部和士兵委员会，从组织上完全改变了旧军队的一套，为部队的进一步改造打下了基础。
但是，浓厚的旧军队的思想作风，不是一朝一夕能够清除的。这支队伍里，有不少人还没有认识到红军党代表制度的重要性。对党代表重视与否，完全是看人行事。党代表如果能打仗，他们就伸出大拇指，说一声“兄弟佩服”，十分尊重；否则，就看不起，甚至骂党代表是“卖狗皮膏药的”。也有不少人认为军队的任务就是打仗，群众工作是地方干部的事，顶多也只不过是政治干部的事。他们非常不情愿到闽赣交界的山区来，感到这个地方田少石头多，吃的尽是番薯，生活太苦。他们最高兴的是闯州过府，因为进了城就可以大吃大喝。有少数流氓习气严重的还想乘此去赌钱、逛窑子。在管理教育上，一方面打骂士兵的现象普遍存在，枪毙逃兵的事件时有发生；另一方面又有些由旧军队来的干部对战士的缺点错误姑息迁就，说什么“当兵的能打仗就行，平时马虎点没有关系”。个别人看到士兵赌钱，不仅不制止，反而要赢了钱的请客。
第二纵队所以会存在这些问题，客观原因是刚起义不久，要改变旧作风旧习气非一日之功，而主观原因则是由于纵队缺乏坚强的领导核心。这个纵队原来的党代表张恨秋去年下半年刚从上海调来，没有经过实际锻炼。他调到二纵队不久，正赶上打土豪杀猪，便亲自提了灯笼去照明，嘴里还不住地吆喝：“猪肝归我，猪肝归我。”在群众中造成了不好的影响。他来不久，部队去打梅县。编进队伍里的一批原卢新铭部的俘虏兵，天天有开小差的。他不是设法加强政治工作去巩固队伍，而是采用枪毙逃兵的办法，部队出发前常常要枪毙逃兵放在大路上示众。但这样做仍然制止不住士兵逃亡。打梅县失利后，二纵队的六七百名从旧军队过来的士兵几乎跑光了。
罗荣桓一到职，就在毛泽东的亲自指导下，向部队传达了古田会议决议，组织大家认真学习和贯彻，以此作为改造这支部队的关键。
按照罗荣桓的指示，各支部逐条对照决议检查了本部队和本支部存在的问题。在检查过程中，有些人有抵触情绪，党员们就以决议为武器，对他们进行说服教育，批评帮助。检查结束后，各支部又把检查的结果向全体党员公布，发动群众讨论。干部和党员自觉的自我批评精神和坚定不移的斗争决心，对全体指战员是很大的鼓舞。这样，就从上到下造成了反不良倾向的气氛，一个轰轰烈烈的群众运动开展起来了。打骂士兵、不尊重党的领导、不愿做群众工作、搜俘虏腰包、乱拿群众的东西乃至吃喝嫖赌等不良倾向和坏人坏事都揭发出来，并受到批评纠正。
在运动过程中，罗荣桓经常深入到各支队和大队去，一面了解情况，一面加强具体指导。他发现，赌钱、抽大烟、逛窑子这些流氓行为已逐渐克服，不过还有少数流氓习气严重的人仍在偷偷摸摸地干。有几个赌鬼赌钱时，派人在门口放哨。他们在自己的腿上拴上绳子，绳头交给放哨的，政委一来，放哨的一拉绳子，里面就赶紧收摊子。
针对这个情况，罗荣桓又及时在全纵队提出“反流氓行为”的口号，发动群众对有严重流氓行为的人开展严肃的思想斗争。这些人大部分在群众的帮助和监督下改邪归正了。个别人屡教不改，混不下去了，就开了小差。不过，这种人走了，反而会使部队更加纯洁。
同反流氓行为比较起来，反对打骂士兵、枪毙逃兵就要困难得多了。有些军官认为打骂士兵是带兵之必需，而逃兵就是“反革命”，应当枪毙。这两种在古田会议决议中已明确指出是“带有盲动主义性质的”错误行为，在部队内部还颇有市场。
在井冈山时期，罗荣桓曾同打骂士兵这种军阀残余作了长期的、不疲倦的斗争。至于枪毙逃兵的现象，在井冈山上还没有发生过，但下山之后，随着老骨干伤亡、俘虏成份不断补充进来，便时有发生并日益严重了。
为了彻底纠正枪毙逃兵现象，罗荣桓召集了多次会议，对一些思想不通的干部进行说服。他首先指出，枪毙逃兵是封建军阀压迫士兵的办法，革命军队绝对不能采取。
罗荣桓指出，士兵逃跑大多数是因为怕苦、想家；有的请假不准，不辞而别；有的是因为干部管理方法不当……对这些人主要是教育问题。即使是拖枪逃跑，也要具体分析。如果将枪拖到兄弟部队或是赤色区域，也还是没有死罪；只有拖枪投敌才能以反革命论处。
根据前委规定，罗荣桓宣布，今后士兵想回家的，可以先做思想工作，劝他们不要回去。如果劝说无效，可以准假并发给路费，告诉他们做秘密工作的方法，叫他们回去从事农民运动、工人运动乃至白军士兵运动，今后什么时候归队都表示欢迎。罗荣桓指出，所以要这样做是由红军的性质决定的。红军既然是工人、农民志愿组织的武装，就不能强迫。捆绑不成夫妻，用强制的方法并不能巩固部队。打梅县后，第二纵队几乎天天枪毙逃兵，还是跑掉那么多人，就是一个证明。
在反不良倾向的基础上，罗荣桓又领导全纵队建立了定期检查古田会议决议贯彻执行情况制度和党课教育、士兵教育制度，同时健全了支委会、支委和小组长联席会、支部大会、小组会和党员定期向小组长作汇报等制度。
在传达贯彻古田会议决议过程中，罗荣桓还学习了毛泽东给林彪的复信（即《星星之火、可以燎原》）。林彪对形势的悲观估量是有一定的代表性的。早在井冈山上，罗荣桓就听到过“红旗打得多久”的议论，但要对其进行说服却颇为费力。读了这封信，他感到有了澄清悲观情绪，进行形势教育的锐利武器。这封信对他思想影响很大。直到一九四五年春天，他在担任山东分局书记时，还将此信印发给山东军区各战略区负责人，并加按语说：“该信是有历史意义的重要文献，是马列主义者观察问题与掌握形势的典型”，要求大家研究学习。
在工作中，罗荣桓和罗瑞卿密切配合，很快互相熟悉起来。罗瑞卿一九二九年初受中共中央派遣由上海赴闽西组建当地红军。他未参加过井冈山斗争，罗荣桓经常向罗瑞卿讲秋收起义和井冈山斗争的情况。受林彪和江青反革命集团迫害的罗瑞卿，一九七二年在被监禁时回忆道：
在中央苏区时，我们就不断听到罗（荣桓）宣传主席领导正确的故事，如秋收暴动、三湾改编、井冈山斗争如何艰苦，天天红米南瓜，主席如何教育部队忍耐坚持…………虽然这些宣传，还是带着单纯的朴素的性质，但他是满腔热情的……对我们也起了一定的教育作用。
罗荣桓和罗瑞卿在性格上各有特点。罗荣桓沉静、稳重，罗瑞卿爽朗、干脆，但配合十分默契，建立了深厚的友谊。后来，因为他俩都姓罗，又先后任第二纵队、红四军政委，同志们为了区别起见，便称呼罗荣桓为大罗，罗瑞卿为小罗。
一九三○年二月下旬，红四军在江西吉安以东的水南、施家边歼灭蒋介石的嫡系部队一个旅。部队随即转入赣南分兵发动群众。
三四月间，罗荣桓等率领第二纵队到达赣南的安远、寻乌地区。这时，在毛泽东直接领导下，经过罗荣桓等政治干部不断的实践和总结经验，已形成了一整套比较成熟的群众工作“七部曲”，即：第一步分发土豪的谷物给贫雇农以发动群众；第二步进行口头和文字宣传、化装讲演、召开群众大会以宣传群众；第三步建立工会、农会等以组织群众；第四步组织赤卫队以武装群众；第五步建立党的支部或区委以领导群众；第六步举办群众领袖、党的干部训练班以训练群众；第七步分配土地、建立工农民主政权。这七步，每一步都要进行调查研究，使做群众工作的过程同时成为调查研究的过程。
第二纵队经过贯彻古田会议决议，掌握了这“七部曲”，群众工作出现了崭新的气象。部队走到哪里，标语就贴到哪里。部队一驻下，战士们主动地向群众宣传打土豪、分田地的革命道理，调查土豪劣绅的罪恶。部队打了土豪，除完成筹款任务外，把全部东西都分给了群众。每次出发前，大街小巷都打扫得干干净净。支部还派人挨家挨户检查群众纪律，看看借了东西还了没有，损坏了东西赔了没有。这样，红军的政治影响扩大了，军民关系也更加密切了。队伍一出发，村里的男女老少都恋恋不舍，齐集村头夹道欢送。
几个月的功夫，第二纵队的面貌发生了显著的变化，引起了前委的重视和注意，罗荣桓等的工作得到了前委的赞扬。一九三○年五月，赴上海党中央出席全国红军会议的红四军代表熊寿祺在给中央的报告中指出：“二纵队过去没有很好的上级干部，军事政治都无中心，因此战斗力差于一、三纵队。最近上级干部已另换人，二纵队又复兴起来了。”
一九二九年春天以后，红四军利用国民党各派军阀连续混战的有利时机，转战赣南闽西，获得很大发展，又组建了红六军、红十二军。一九三○年六月间，中共中央政治局会议在上海召开，以李立三为代表的“左”倾冒险主义在中央占了统治地位。立三路线命令集中全国红军进攻中心城市，“会师武汉”、“饮马长江”。按照中共中央决定，红军在汀州整编，组建了第一军团（开始曾称第一路军），朱德任总指挥、毛泽东任政治委员。下辖红四军、红三军（原红六军）、红十二军。罗荣桓代理红四军政治委员。
早在二月陂头会议①以后〔二月七日在吉安县陂头镇召开的红四军、五军、六军和赣西特委负责人联席会议。第五军彭德怀等为赣江所阻，未出席〕，朱德、毛泽东便不再兼任红四军军长和政委的职务，而任命林彪为红四军军长，潘心源（即彭清泉）为红四军政委、四军军委书记。但当时潘作为中央巡视员正在湘赣边界和红五军中活动，不能到四军任职，乃由熊寿祺代理军委书记。四月一日，红四军打下广东南雄后，熊作为红四军代表赴上海出席全国红军代表会议。前委即重新物色四军政委的人选。
林彪打仗很稳重也很灵活，擅长于出敌不意，打敌人的伏击。但个性很强，不愿听取别人批评。别人颇难同他共事。自从他担任第二十八团团长以来，同各届党代表大都搞不好关系。陂头会议后，四军政委实际空缺。作为红四军政委，除必须具备立场坚定、观念正确、有丰富的政治工作经验等基本条件外，还要有宽广的胸怀。既要有坚定的原则性，在非原则问题上又要有容人的度量，善于忍让、谅解，以利于搞好和林彪的团结。毛泽东建议由罗荣桓代理四军政委，前委同意毛泽东的建议。
红四军共有三个纵队。第一纵队是老二十八团，战斗力很强。二纵队经过罗荣桓等近半年的辛苦工作，也赶上来了。三纵队原是老三十一团。在汀州整编时，为了加强由闽西地方红军编成的第十二军的战斗力，已将其成建制调到十二军，而将原十二军的第二、三纵队调入红四军组成新的第三纵队。当罗荣桓到任时，比较弱的就是这个纵队。部队转移到江西后，这个纵队有许多福建籍战士因家乡观念严重，纷纷开小差。第十九大队在汀州原有一百八九十人，到了瑞金，只剩下七八十人。兵员不足，他们只好打了一面“扩大红军”的三角旗子，沿途招募，又补进了不少江西籍的战士。罗荣桓非常注意对这支新部队的培养、锻炼。到瑞金后，罗荣桓便把行李搬到第三纵队，深入部队进行调查研究。
一天，他带了三位干事、一位勤务兵、一位马夫来到第三纵队的特务大队。
经过同战士们一道生活，罗荣桓发现，部队扩大以来，团结问题突出起来了。这个大队的大队长是湖南老乡，爱吃辣椒。政委是广东人，偏偏不爱吃辣椒。买菜的时候，大队长经常嘱咐司务长买辣椒，要挑那种又红又尖的，越辣越好。大队长这种爱好得到了同样喜欢吃辣椒的江西籍的战士支持，可却遭到不爱吃辣椒的政委和福建籍战士的反对。这位大队长又有点军阀残余，古田会议以后打人固然不敢了，嘴里骂骂咧咧的却仍然是家常便饭，而政委也不肯忍让。于是，吵架就不可避免了。
罗荣桓了解这一情况后，出席了大队的支委会和士兵委员会。在支委会上，大家又扯起了吃不吃辣椒的问题。罗荣桓发了言，他说：“我们这个大队有江西人，也有福建人，还有广东人、湖南人，来自四面八方。要不是革命，大家谁也不认识谁。革命使我们成了阶级弟兄，我们一定要团结，不团结，工作搞不好，仗也不能打好。所有的共产党员都应该在团结方面起模范作用。我们湖南有这样一首民歌：‘一根竹竿容易弯，三扎麻绳扯断难，众人拾柴火焰高，齐心团结金不换。’这说明了团结的重要。团结，这是一个出发点，有了这个出发点，一些具体问题，象吃辣椒的问题就好解决了。太家应当互相谅解、互相照顾。今后可以少买点辣椒，单炒，爱吃辣椒的湖南人、江西人的需要就可以满足了。但是，不要放到菜里头，这样也照顾到了福建人的不同的口味。”
经过罗荣桓的耐心教育，这个大队几个干部都作了自我批评，表示今后一定要团结起来。
罗荣桓离开特务大队后，又走访了几个大队，发现福建人和江西人之间的团结问题普遍存在，除生活习惯不同外，语言不通也是造成隔阂的原因之一。
针对这一情况，罗荣桓召开了专门研究和解决团结问题的政工会。罗荣桓在会上说：“福建的同志刚从地方上出来，讲话别人听不懂，他们坐在一起是很自然的。这不是什么小宗派、小集团，当然，福建的同志也要学国语①〔当时用语，即普通话〕，你们干部今后向部队讲话，要学着讲国语，不要讲土话。在这个问题上，干部也要用自己的带头作用去影响战士。今后，部队还会不断发展，五湖四海的人都会碰到。如果不会讲国语，指挥部队就会发生困难。”
会后，由于各级党组织的重视，团结问题很快解决了。而不会打仗的问题又突出了起来。红一军团由广昌转移到兴国集结后，于七月十一日北上。路过吉水的一个夜间，红四军正以第一、二、三纵队的序列行军。三纵队一些新战士看到前面有人打手电筒，不知道是怎么回事，都慌里慌张往路边的树林子里躲。乱了好一阵子才把队伍整理好。七月二十四日部队进驻樟树镇后，一、二纵队在赣江边警戒，三纵队驻在镇子里。也是在一个夜间，一、二纵队发现江里有敌人的汽划子，便用机枪扫射。三纵一些新战士听到机枪响，又乱了起来，用当时的语言讲，就是发了一阵“妖风”。于是，有人编了顺口溜，嘲笑这支新部队“走路走不动，打仗发妖风”。
罗荣桓发现这一问题后，吩咐三纵队政委张赤男将大队以上的政治干部找来开会。在会上，罗荣桓针对部队这种惊慌失措的现象进行了严肃的批评。他说：“一个手电筒就把我们搞散了，听到机枪响就发妖风，怎么行呢！”听到罗政委的批评，大家都低下了头，感到非常惭愧。他们说，许多战士连手电筒也没有见过，连机枪响也没有听过，根本没有打过大仗。罗荣桓听完他们的解释，口气缓和了一些。他耐心地说：“打仗，谁也不是从娘肚子里生下来就会的，都是学会的。兵要靠干部带。”他要求干部以自己在战斗中的模范作用影响和教育战士，要手把手地教，通过放哨、夜行军等活动锻炼新同志的胆量，提高他们的信心和勇气。后来，在文家市战斗前，罗荣桓又到三纵队进行动员，这一仗，三纵队打得很好。通过这次战斗的洗礼，这支新部队逐渐锻炼出来。
在樟树，罗荣桓返回军部。这时，在红军中开始建立青年工作。为此，将共青团兴国县委书记肖华调入红四军任专职的青年委员。当时，肖华才十四岁。罗荣桓同他亲切交谈，耐心地教他怎样开展工作。
罗荣桓首先引导肖华认识红军青年工作的特点，他说：“这次毛委员调你到红四军做青年工作，这可与地方团的工作有区别呀。地方上主要是打土豪、分田地，组织儿童团、少先队，搞扩大红军和参战；而部队团的工作作为党的助手，却着重于对青年士兵进行共产主义教育，鼓舞战斗意志。要一切服从战争需要。”
罗荣桓要求肖华立即着手建立各纵队和支队的团组织，配齐青年干部，建立连队的团支部和小组，再逐步健全团的生活。他要求青年工作要符合青年的特点。他说：“生龙活虎是青年人的特点，青年工作就要符合这个特点，要朝气蓬勃、生动活泼，不要死死板板的，要开展多样化的文娱体育活动。要发动团员密切联系群众。团员在各项工作中特别是在战斗中要起先锋模范作用。要组织团员和青年学习军事技术和党的政策。要组织团支部作好帮助掉队战士和巩固部队的工作……”
在罗荣桓的具体指导下，肖华利用行军作战的间隙，积极开展工作。在各级政治机关共同努力下，在一个多月的时间里，军、师、团各级普遍建立了共青团的组织。红四军的青年工作很快出现了新的局面。
一九三○年七月下旬，按照中共中央决定，红一军团进逼南昌郊区。八月一日，毛泽东派少数部队到牛行车站鸣枪纪念“八一”，但并未进攻南昌，而是率部西去，于八月二十三日，和由红五军扩编而成的红三军团在浏阳县永和市会师，组建了红一方面军，由朱德任总司令，毛泽东任总政治委员、总前委书记。这时，得悉潘心源已返回上海，不可能到四军任职，乃正式任命罗荣桓为红四军政委。
九月上旬，按照立三路线统治的中共中央六月间的命令，第一方面军攻长沙，不克。毛泽东劝导部队转向江西，于十月四日攻占吉安，随即北上。沿途在袁州、峡江、罗坊召开多次会议，讨论行动方针。毛泽东主张放弃打大城市，转到赣江以东广大赤色地区作战，然而一部分领导干部受立三路线的影响，仍然主张攻打南昌、九江。会议就此展开争论。据何长工回忆，罗荣桓在这几次会议上发言不多，但表示完全拥护毛泽东的正确主张。最后，毛泽东等终于说服了主张打大城市的一些领导干部。这时，传来了蒋介石调动十万人马向红军逼进的消息。第一、三军团先后渡过赣江，准备采用“诱敌深入赤色区域，待其疲惫而歼灭之”的方针，以粉碎敌人的“围剿”。
部队撤到宜黄时，各军都开展了肃清AB团①〔AB团，一九二七年初在江西成立的一个反共秘密组织，其主要任务是排斥在国民党江西省各级党部中的共产党人和国民党左派。“四十二”反革命政变后，此组织即解散〕的斗争。这是在红军中开展的第一次大规模的肃反斗争。由于总前委对敌情估计错误，加之缺乏经验，没有正确的政策和方法，一时间，部队中出现了乱捕乱杀的现象。
在这一期间，罗荣桓正在部队检查反“围剿”的政治工作。他听说政治部的几个部长，甚至还有刚从十师调来的一个小勤务员也被抓了起来，便匆匆赶回军部。这时，军部已转移到黄陂、小布以东的钓锋。罗荣桓一下马便听取了政治部的简单汇报，然后来到押“犯人”的临时拘留所。
罗荣桓一进门，便看到一个小战士蹲在墙角哭哭啼啼，那瘦小的肩膀不住地颤动。这是一个还没有发育成熟的孩子，在“犯人”中特别显眼。罗荣桓走到他跟前，和蔼地问：
“小鬼，你告诉我，是怎么回事？”
小战士一见是罗政委，慌忙站起身来，用袖子擦擦眼睛，抽泣着说：“我就是帮他们买了半斤花生米和一斤白酒……”说着说着，他象受了欺负的孩子见到了妈妈，哭得更伤心了。
罗荣桓皱起了眉，“你不要哭，慢慢地讲。你叫什么名字，在哪儿工作，帮谁买了花生米和酒？”
小战士一面不住地抽泣，一面告诉罗荣桓，他叫王东保，原来在十师宣传队。十师宣传队有几个AB团被杀掉了。他就是给他们买的花生米和酒。
罗荣桓长长地嘘了一口气，指着王东保责问陪他前来的保卫干部：“这是一个小孩子，怎么会是AB团？”
不等这个干部回答，罗荣桓便立即下令：“把他放了！”后来罗荣桓把他要去当了勤务员。
处理完王东保等人的问题，他又听负责审讯的干部汇报说，有“犯人”交代，副官游邦栋也是AB团。罗荣桓决定亲自听取对他的审讯。
游邦栋来后，矢口否认自己是AB团，负责审讯的干部打断他的话，冷冷地对他说：“你不要再狡辩了，×××已经交代了……”
听了这个话，游邦栋感到自己浑身有嘴也说不清，他转向罗荣桓，急切地说：“罗政委，这真是天大的冤枉。我不是AB团。如果我是，”这时他从桌上抢过一把刀，罗荣桓还没有反应过来，他决断地说，“就象这个手指！”说着，他手起刀落，砍断了自己的左手小指。
罗荣桓连忙吩咐警卫员把他带下去找医生进行包扎。事后，他严肃批评了游邦栋自残的错误做法，把他释放了。
这时，又有人反映，军部特务营政委陈志坚打AB团很不得力，右倾手软，说不定本人就是AB团。肖华是二十军发源地兴国县人，据说兴国县的AB团最多，所以肖华也有AB团的嫌疑。罗荣桓不同意这种捕风捉影的猜测，将他们保护起来。
与此同时，打AB团在各师已经普遍开展起来了。部队撤到宁都县境时，军政治部通知第十二师师长肖克和政委张赤男说，十二师的宣传队长和一个宣传员是AB团。于是，师里立即将这两人逮捕。提审时，这两个人不承认，一用刑，承认了，又供出了十几个人。再抓，再打，再审，这十几个人又供出几十人，十一月底，这个师已抓了一百多人。当时前委规定，捕人由各团党委决定，杀人由各师党委决定，毋须向军党委和前委请示报告。十二师准备杀几十人。
就在准备动手的这一天早晨，十二师领导感到杀这么多人有问题，肖克便骑马到钓峰军部向罗荣桓政委请示。罗荣桓和红四军军委秘书长黄益善接见了他，听了他的汇报。罗荣桓明确答复：“不能杀那么多人。”黄益善支持罗荣桓的意见。
听了这两位领导干部的意见，肖克感到心中有了底。他立即往回赶，救下了三十多人。从此，“罗政委刀下留人”的故事便在红军许多部队中流传开来。
打AB团，是由于在斗争形势十分紧张的条件下，中共党组织对红军内部的敌情作出了错误估计。当时的罗荣桓还无法分辨这一是非。但是由于他保持了比较清醒的头脑，具备优良的实事求是的作风，仍然挽救了很多人的生命。由于他的亲自干预，红四军杀人相对地说比较少。这一点在当时的历史条件下已经是非常难能可贵的了。尽管后来他因此被某些领导人看成是“右倾”，但他却减轻了打AB团对部队造成的伤害，保持了部队的战斗力，从而为即将来临的反“围剿”的胜利创造了条件。