一九二七年七月十五日，汪精卫公开叛变革命，对革命者进行了血腥大屠杀。
蒋介石、汪精卫的屠刀吓破了一些懦夫的胆。报纸每天都辟出专栏登载变节者脱离中国共产党的启事。但是，烈士们的鲜血却激起了革命者更加昂扬的斗志。他们，正如毛泽东所说：“从地下爬起来，揩干净身上的血迹，掩埋好同伴的尸首，他们又继续战斗了。”彭明晶和罗荣桓就是这样一种坚定的共产党人。此时，彭明晶已被留在武汉市委从事地下工作。罗荣桓同这位同窗三年的战友分手时，依依惜别，一遍遍地互相嘱咐，互相勉励……罗荣桓怎能料到，此次分手便是永别！一九二七年秋，这位才华横溢的年轻的共产党员在武汉不幸遭敌人杀害。
不久，罗荣桓就上路了。由于各个车站盘查很严，他只坐了一段火车便开始步行。
一路上，罗荣桓的心情同半年前在家乡搞农民运动时相比，已经迥然不同了。投身于急风骤雨式的农民运动中的兴奋激动，此刻变成了满腔悲愤。罗荣桓后来回忆说：“那时就是气愤，不服气。”①〔罗荣桓一九五六年十月十七日在解放军政治学院召开的座谈会上的讲话〕好端端的革命局面不复存在了，千万革命者倒在敌人的屠刀之下，他这口气怎么能咽得下去！
经过几天跋涉，七月下旬的一天，罗荣桓到达通城。未暴露共产党员身份的县长王武扬等向他介绍了当地的社会情况。
自从北伐军进入通城后，农民运动发展得迅猛异常。一九二七年五月，由于已经倒戈的国民革命军独立十四师师长夏斗寅的叛军残部流窜到通城，地主豪绅一度乘势向革命势力进行了反扑。但不久农民运动的形势有了好转。“七一五”汪精卫叛变以后，形势就更加恶化了。在通城县城里，县的武装掌握在代表豪绅利益的团防局长刘秀波的手里，反动势力占了上风。可在乡下大部分地区还是农会当家。原国民党省党部特派员汪玉堂是中共党员，正在乡下组织农民自卫军。王武扬要求罗荣桓以农会特派员名义在两三天内下乡，协助汪玉堂组织农民自卫军。王又将民政股长谭梓生介绍给罗荣桓，让罗随谭一道下乡。
在谈话中，罗荣桓了解到谭梓生原来是上海政法大学学生。一九二七年北伐军攻克他的家乡安徽旌德后，他被任命为旌德县长。“四十二”蒋介石叛变以后，他在家乡不能存身，跑到武汉，又由湖北省党部介绍到通城工作。
过了一天，罗荣桓、谭梓生下乡同汪玉堂会合，开始进行农民自卫军的组建工作。
这一工作同罗荣桓在家乡搞的农民运动比较起来已经深入了一大步。当前，你死我活的武装斗争已经提上了议事日程，随时都要准备流血牺牲了。因为农民生怕已被打倒的土豪劣绅回来进行报复，积极分子都愿意武装自卫，而夏斗寅的溃兵在通城四乡又扔下了不少枪支，武器是现成的，所以，农民自卫军的组建工作一开始进行得比较顺利。上千的农民报名参加了自卫军，枪也有了二三百支。这时，传来了南昌起义的消息，斗争形势更为紧张。刘秀波已在城内加强了戒备。四个城门一落日就上锁，白天只留下一个窄窄的通道供行人出入。又过了不久，上级派人来鄂南传达了中央“八七会议”关于实行土地革命和武装反抗国民党反动派的总方针和湖北省委的秋收起义计划，要求各地九月十日以前开始起义，以“推翻武汉的统治，彻底消灭封建势力，而建立农民协会的政权”。
罗荣桓和王武扬、汪玉堂等研究了如何执行省委计划的问题。大家感到，解决刘秀波的民团是一个关键。如果调农民自卫军攻城，刘秀波将城门一关，势必要强攻。但是，农军一无重武器，二缺训练，很难完成这一任务。
正当他们还拿不出办法的时候，由原崇阳县民团改编而成的崇阳农民自卫军一百多人受国民党第十三军的压迫南下了。这支队伍的领导人是原崇阳县团防局长叶重开。他派人到通城找汪玉堂接头。汪要求叶重开立即率部隐蔽驻扎在通城县城西面的铁柱岭。汪又派人通知王武扬秘密出城，和罗荣桓、谭梓生、叶重开一道研究行动方案，决定智取通城。
八月二十日上午，叶重开由十几名卫兵前呼后拥，押着由一个自卫军的伙夫装扮的“犯人”，来到通城西门。这时城门已紧紧关闭。
叶重开下了马，大声嚷着要见刘团总。门卫见来人是个当官的，便将城门开了一道缝，把叶放了进去。叶重开递上了印有崇阳县团防局长官衔的名片，说抓住了一个通城的共产党，要亲自押交刘团总。门卫信以为真，把城门打开。叶重开带着这十几个人径直奔向县衙门，在早已隐蔽在衙门附近的通城的中共党员的配合下，活捉了刘秀波，缴了民团的枪。
当天下午，在通城县衙门口召开了通城、崇阳农民自卫军成立大会。大会由王武扬主持。他首先宣布通城、崇阳农民自卫军正式成立，并向弟兄们介绍了自卫军的领导人。自卫军总指挥是王武扬，党代表是罗荣桓，参谋长是刘继宋。在会上宣布将残害农友、血债累累的刘秀波枪决，并没收他和其他几个土豪的财产，一部分分给群众，一部分充作军用。
会后，自卫军的干部们又研究了具体分工。队伍里缺一个管帐先生。大家感到罗荣桓是大学生，建议由他兼管财务。罗荣桓一贯不善于也不喜好理财。但是他考虑到管帐也是革命的需要，愉快地接受了这一任务。于是，他除了作党代表外，又兼管着一只盛钱的小箱子，走到哪里就提到哪里。
罗荣桓身材比较高大，戴着一副深度近视眼镜，穿着还是从武汉带来的旧中山装，在队伍里特别显眼。虽然他刚来，对战士还不熟悉，但是战士们却很快就认识了他。有的称他“党代表”，有的还不懂得什么叫“党代表”，见他穿中山装，戴眼镜，又管钱，就称他“先生”。
农民自卫军的旗帜打出来了，但是缺乏懂得军事的干部，缺乏弹药，有些枪支是坏的，需要修理……
当自卫军的几位干部一起研究如何解决这些问题时，曾在国民革命军第六军当过营长的刘继宋提出，这些问题可以请驻扎在修水的江西省防军暂编第一师协助解决。这个师的师长余洒度是共产党员，黄埔第二期的，是刘继宋的同学。
听了刘的介绍，大家知道这支部队就是国民革命军第四集团军第二方面军总指挥部警卫团。团长卢德铭是共产党员。南昌起义时，卢德铭带着队伍由武昌乘船东下，准备到南昌同叶挺、贺龙会合。在江中，通过侦察得悉张发奎已在九江布防，乃命令部队从阳新黄颡口登岸。到江西奉新后，得知叶、贺部已经南下，便西撤进山，同湖南平江工农义勇军和浏阳工农义勇军取得联系。部队开到奉新后，卢团长去武汉向中央请示，部队交给营长余洒度指挥，随后部队进驻修水，以受编不受调为条件，接受江西朱培德“江西省防军暂编第一师”的番号，由余洒度任师长，平江农军负责人余贲民任副师长。下设两个团，以警卫团主力和平江农军编为第一团，以浏阳农军和警卫团一部编为第三团。
通城、崇阳农民自卫军决定派刘继宋、罗荣桓和谭梓生三人去修水联络。于是，他们便风尘仆仆赶到修水。这时在暂编第一师师部当文书的谭政接待了他们。他问明情况后，立即向余洒度报告。余答应给他们派两名教官，拨给少量弹药，同时还告诉他们，如果敌情紧张，可以将部队开到修水来。
罗荣桓一行刚刚回到通城，得悉国民党的第十三军正由北面向通城进逼。为了保存革命力量，八月底，通城、崇阳农民自卫军在罗荣桓、叶重开等的率领下离开通城向修水转移。
出发时已近白露，可南方的“秋老虎”却仍在施展着淫威。火辣辣的太阳直射下来，把山间的石头、树木、杂草都烘烤得散发着热气。队伍行进在山路上，象是钻进了一口大烤箱，人不断地出汗……罗荣桓背着包袱，提着装有二三百光洋的箱子，跟随队伍翻山越岭，走了整整一天，他的上衣布满了斑斑汗渍。
傍晚，队伍来到通城最东面的村镇--麦市。战士们走得燥热难耐，刚宣布休息，还不等干部下令，大家都跑到镇南的黄龙河边喝水。水喝足了，又纷纷脱去衣服，扑通扑通跳进河里洗澡，洗完后，穿上衣服，一屁股坐在地上，一个个都不想动了。
罗荣桓和叶重开等看到部队已十分疲劳，便决定就地宿营。罗荣桓和一些战士住在一个祠堂里。他的头一沾箱子就睡着了。
拂晓，罗荣桓睡得正酣，忽然听到外面枪声大作，大家立即爬起来冲了出去。原来昨晚在北山坡上曾出现化装成放牛人的崇阳地主武装侦探，由于没有经验，谁也没有在意。当夜崇阳地主武装就勾结了国民党部队从东、北、西三面包围了麦市。
罗荣桓提着箱子和叶重开招呼战士们向东突围。天亮后，集合队伍，三停已去两停，原来收编的通城民团大部分跑散了。罗荣桓这位投笔从戎的大学生，参加暴动没有几天，在他第一次参加的战斗中便碰上敌人袭击遭受挫折，一开始未免有点发蒙，但他还是竭力使自己镇静下来，一面跑，一面收拢队伍。他又同叶重开商量了一下，便率领着剩下的一百多人继续向修水转移。王武扬在战斗中与部队失去联系。一九三四年病逝于安徽安庆。
这一天天气更热，山路也更加崎岖。罗荣桓提着沉重的箱子，一路上不断地倒手。刚走了十几里路，就热得舌敝唇焦，嗓子里象是在冒烟。刚刚打了败仗之后的这种酷暑山地行军，显得更加令人燥热难耐。然而，这比起罗荣桓日后漫长征途上的艰险来说，又只不过是一段小小的序曲罢了。
下午，在翻一座大山的时候，有两个农军士兵跑到罗荣桓跟前，指着他手里提的箱子说：“先生，我们来帮你扛吧。”罗荣桓摇摇头说：“不用，我自己可以提。”一个农军士兵抢上两步，一面从罗荣桓手里夺箱子，一面说：“你先生是识文断字的，哪里提得动。还是我们帮你扛吧。”罗荣桓看这两人很面熟，知道是队伍里的弟兄，挡不住他们连说带抢，箱子便被他们拿过去了。
傍晚，队伍到达修水县桃树港宿营。罗荣桓去找这两个士兵，但是这两个家伙已经逃之夭夭。
丢了这二三百块钱，罗荣桓心情非常懊丧。他后来经常提起这件事。一九三七年五月，罗荣桓对他的夫人林月琴说：“那个时候，思想单纯得很，以为大家都是来革命的，都是一样的同志嘛！其实，并不都是来革命，混饭吃的，找出路的，大有人在。那个时候，我们都是‘秀才’造反，脱不了书呆子气。一个知识分子要成为坚定的革命者，不经过一番磨练是不行的。”
这是罗荣桓的自我解剖。毛泽东对这件事又有不同的评价。在延安时，有一次毛泽东接见林月琴，向林月琴说：老实是罗荣桓一个很大的特点。听了毛泽东的话，林月琴就讲了这件事。毛泽东听了哈哈大笑。他对林月琴说：“你看，他非常老实，可又很善于总结经验，他从这件事就悟出了一个真理。因此他对是非、对正确和错误鉴别得特别分明。”
罗荣桓、叶重开等率领农军继续东行。第二天清晨，到修水，余洒度从一团抽调了四五十名老兵作骨干，将这支农军编为师部特务连。由原警卫团的排长谭希林任连长，叶重开任副连长。罗荣桓仍沿袭在农军的职务，任党代表。
编队以后，师部给连里补充了一些武器。因为枪支少，罗荣桓领到了一口系了红缨的大刀。当他佩上大刀时，不禁莞尔一笑。去年在上海，侯绍裘曾建议他和张沈川进黄埔军校，但是被他们婉言谢绝了。想不到过了一年，他这个戴眼镜的大学生还是当了兵。这难道是偶然的吗？不，偶然性之中存在着必然性。俗话说，逼上梁山。面对着蒋介石、汪精卫的血腥屠杀，革命者怎能不拿起刀枪？党的“八七会议”决议和湖北省委关于秋收起义的计划，正是反映了革命人民的要求，同时也给一切革命者指明了方向：推翻帝国主义、新旧军阀、地主豪绅的统治，要靠枪杆子。于是，罗荣桓就拿起了武器，而他参加并领导的通城暴动也就汇入了秋收起义的洪流。
罗荣桓当了兵。但是，部队里的一切对于他几乎都是新的课题。摆在他面前的一个迫切问题是：究竟应当怎样当好党代表。他向警卫团的老兵谭希林等请教。过去警卫团只有团里才有党代表，谭希林等处于基层，对于如何当好连队的党代表，也讲不出所以然来。不过，他们还是向罗荣桓介绍了警卫团团长卢德铭的一些优良作风。
他们告诉罗荣桓，卢团长是从叶挺独立团出来的，他的作风同其他军官有明显的不同。别的团长、营长，一般都有小伙房，吃饭讲究四菜一汤。卢团长却同士兵吃一样的伙食。号房子时，卢团长总是先尽部队，团部的住房往往比较差。卢团长从来不带卫士。有人曾向他建议，出门时带个把人，一来安全，二来办个什么事情也方便一些。可卢团长拒绝了，他说：“你们不都是我带的人吗？有什么事你们难道不帮我办吗？我生活在弟兄们中间，只要弟兄们安全了，我个人的安全又有什么问题呢？”卢团长对部队讲话，经常说：“弟兄们！你们的生命就是我的生命。”他平时吃苦在前，享乐在后；战时冲锋在前，退却在后；深得弟兄们的爱戴。
罗荣桓听了战友们的介绍，知道卢德铭指挥部队，不仅仅是依靠发号施令，更不是依靠打骂，而是依靠自己的模范作用。一切事情他都走在前头，让大家照自己的样子做。所以大家都发自内心地尊重他。罗荣桓便以共产党员卢德铭为榜样，成为人民军队第一批连党代表之一，开始了中国人民军队首创的连党代表的实践。
与罗荣桓到达修水几乎同时，全权负责湘赣边界秋收起义的中共湖南省委前敌委员会书记毛泽东在安源张家湾召集会议，决定以暂编第一师为工农革命军第一师，作为秋收起义的主力。第一团和第三团建制不变，另以安源工人纠察队及萍乡等地农民武装编为第二团。
按张家湾会议决定的起义计划，九月九日各路同时开始行动。第一团攻平江，第二团取萍乡、醴陵，第三团打浏阳。得手后，向西发展，然后以长沙工农起义为内应，相机夺取长沙。九月八日，卢德铭回到部队，任起义部队的总指挥。
九月九日清晨，师部和第一团以第二营、第三营、第一营和师部的序列出发，十日占领朱溪，随即进入湖南平江，准备与当时驻扎在龙门的余洒度新近收编的夏斗寅残部邱国轩团合攻长寿街。
当罗荣桓、谭希林等率领特务连随师部到达龙门时，得悉邱部叛变，在金坪向第一团突然袭击，部队受到很大损失。
师部听到先头部队在金坪失利的消息后，命令后续部队南下，去攻浏阳。这一带多崇山峻岭，这时已过中秋。山区的早晚，虽然有了凉意，可白天仍然非常懊热。山中草木丛生，蚊子大而多，许多战士染上了疟疾。部队无医无药，病号也只好硬撑着行军。沿途村庄不多，人烟稀少，经常寻不到粮食，只好以南瓜充饥。有一些人吃不了这个苦，经不住失败的考验，一路上纷纷开小差。
罗荣桓走在队伍的后面负责收容。他除了和大家一样饥渴劳累之外，还加上眼神不好，看不清崎岖的山路，走起来高一脚低一脚，不是被石头碰了脚趾头，就是崴了脚。但是，他顾不上这些，仍然坚持帮病号、帮掉队的战士背枪，鼓励他们坚持下去。这时，入党仅仅四个月的罗荣桓尽管已决心革命到底，可是，这一支小小的起义部队，在强大敌人的重重包围之中，究竟要到哪里落脚，能不能坚持下去，怎样才能坚持下去，罗荣桓和大家一样，还心中无数。无论是他的模范作用还是苦口婆心的说服，都未能遏制开小差之风，而这也正是当时包括罗荣桓在内的许多干部十分焦虑的问题。
九月十七日，部队转移到铜鼓县排埠和浏阳县孙家段一带，与毛泽东和在东门市受挫的第三团会合。部队休整了一天，谭希林调往第一团第一营，特务连长由浏阳县工会主席朱建胜担任。因为当时尚未在连队建立党代表制度，罗荣桓改任师部参谋，仍随特务连行动，与朱共同负责指挥特务连。
九月十九日，部队到达文家市，与攻浏阳失利的第二团余部会合。起义部队原本有五千余人，仅师部和第一团便有二千多人，三个团先后受挫后，这时还剩下一千余人。特务连还剩下七八十人，随师部住进了文家市西头的里仁学校。
当天晚上，毛泽东不顾旅途疲劳，连夜在师部召开了扩大到营以上干部参加的前敌委员会。在会上，毛泽东分析了形势，认为这时攻打长沙已不可能，建议部队改变计划，迅速脱离平江、浏阳地区，沿罗霄山脉南下，寻找落脚点，保存和发展革命力量。会议接受了他的主张。
第二天清晨，全师一千余人在里仁学校的操场开会，毛泽东讲了话。由于他是中共第五届中央委员和中央临时政治局候补委员，人们此时都称他毛委员。毛泽东说，这次秋收起义我们打了几个败仗。这不要紧，胜败乃兵家常事，我们还留有队伍。俗话说，留得青山在，不愁没柴烧嘛。现在需要好好总结这次起义的经验。我们分成几路，力量分散了，但是敌人力量却很集中。结果我们打了败仗。秋收起义原来计划是攻长沙的。长沙好不好呢？长沙好。但是现在那还不是我们蹲的地方。我们不能去打大城市，去打交通要道了。现在要找个地方休养生息。
说到这里，毛泽东稍稍提高了嗓音。他说，同志们，革命总是要发展的，总是要胜利的。我们现在力量很小，好比是一块小石头。蒋介石好比是一口大水缸。可我们这块小石头总有一天要打烂蒋介石那口大水缸。因为老百姓在我们这一边。有了群众，就有了天下。而我们要得到群众的拥护，有一个条件，这就是要整顿纪律。对老百姓的东西，一个鸡蛋也不能拿，一根禾草也不要动。只要我们和群众结合在一起，就会如鱼得水，立于不败之地……
罗荣桓过去没有见过毛泽东，但老早就听说过这个名字了。一九一九年他刚到长沙读中学，在驱张运动中，他就知道毛泽东是湖南一位著名的群众领袖。他还知道，今年年初，毛泽东曾到湖南衡山等县考察过农民运动。罗荣桓受湖北省委农民部派赴通城之前，还读过他的《湖南农民运动考察报告》，对这个报告考察内容之翔实，观点之鲜明，说理之透辟，文笔之犀利，留有深刻的印象。
此刻，正当罗荣桓为部队缺乏明确的前进方向而焦虑的时候，听到了毛泽东形象生动、深入浅出的讲话，感到象是久渴之后饮进了甘泉。罗荣桓感到毛泽东这个讲话完全合乎客观事实而又闪耀着睿智的光芒。这是罗荣桓第一次见到毛泽东和听毛泽东的讲话。从这时开始，罗荣桓便非常尊重和敬仰毛泽东。他所以尊重和敬仰毛泽东，是因为他从革命实践中日益认识到毛泽东的思想里包含着既丰富又深刻的真理。
开完大会，部队下午就从文家市出发了。
因为朱建胜是浏阳人，熟悉当地情况，师部分配他和罗荣桓打前站。朱建胜招呼罗荣桓来到文家市街上，一面搞点饭吃，一面打听道路。他们来到当时才一四岁的杨勇的家里。朱建胜同杨家很熟。他向杨勇介绍了罗荣桓，说他是师部的参谋，原来是武汉的大学生。然后，朱建胜去买菜，罗荣桓向杨勇详细打听了去上栗市的道路。两人吃了饭，就上路了。
按师部原来的计划，部队到上栗市后便折而向南，过萍乡，进莲花。但是朱建胜和罗荣桓到达上栗市后便听人说，萍乡街上和车站都驻扎了军队。大队到达上栗市以后，他们便将此情况向师部报告。
毛泽东决定，部队转向东南，经小视，九月二十二日到芦溪宿营。第二天清晨，以第三团、第一团的序列前进，不料第三团走错了路，跟进的第一团在芦溪附近的一个三岔路口，遭敌人伏击。部队仓促应战，伤亡很大。卢德铭不幸中弹牺牲。
部队怀着悲愤的情绪继续转移，进入了武功山区。为了摆脱敌人，每天天不亮就出发，日落后方才宿营。九月二十五日冒雨攻入莲花，摆脱敌人尾追。九月二十九日到达永新县三湾村。
罗荣桓还没有进村，就看到三棵几抱粗的大树，其中两棵是樟树，一棵是枫香树，郁郁森森，很有气派。走到树下，是一块坪。这就是后来十分著名的枫树坪。在枫树坪北面散布着几十户人家，这在山区也算得一个大村子了。可部队进村后，却不见有人。原来老表们听说来了兵，都躲进了深山。
部队刚住下，毛泽东要求，各单位立即分头上山，向群众做宣传工作。与此同时，前敌委员会开会研究部队整编问题。
罗荣桓按照师部的指示，带着特务连到山上喊话，向老表们说明我军的性质，动员老表们回来。老表们听了喊话半信半疑，先让一些老人回来看望。他们一看，猪啊鸡啊……什么也没有丢，战士们说话十分和气，老人们又兴冲冲地上了山。第二天，老表们纷纷回来了，山村里顿时热闹起来。
就在这一天，部队在枫树坪整编，一个师缩编为一个团。余洒度宣布了干部名单：团长陈浩；一营长黄子吉，党代表宛希先；三营长张子清，副营长伍中豪，党代表何挺颖；特务连连长曾士峨，党代表罗荣桓。另成立军官队和卫生队各一。接着毛泽东讲了话。
他说，现在是官多兵少，枪多人少，不利于作战。因此要整编。要建立后方，放下担子，轻装上阵。多余的军官全部上军官队，伤病员归卫生队管理，其余同志编入部队。
他又说，一路上有些人不辞而别了。要走最好打一个招呼。现在宣布，愿留则留，不愿留下的可以请假回去。凡回去的根据路途远近发给路费。希望走的同志回到家乡要坚持革命。将来如果愿意，还可以再回来。
毛泽东接着宣布，为了加强党的领导，要把支部建在连上。连以上设党代表。营、团建立党委。整个部队由前敌委员会领导。他还提出，在部队内要实行民主制度，官长不准打骂士兵，废除烦琐的礼节，士兵有开会说话的自由。连队经济公开，官兵待遇平等，吃一样的饭，穿一样的衣。为了保障士兵的民主权利，建立各级士兵委员会。士兵委员会对军官有监督权，军官做错了事，士兵委员会可以提出批评以至予以制裁。
毛泽东最后说：“同志们，现在敌人只是在我们后面放冷枪，没有什么了不起！……大家都是娘生的，敌人他有两只脚，我们也有两只脚……贺龙同志两把菜刀起家，现在当了军长，带了一军人。我们不只是两把菜刀，我们有两个营，还怕干不起来吗？……你们都是起义出来的，一个可以当敌人十个，十个可以当他一百。我们现在有这样几百人的队伍，还怕什么，失败是成功之母，没有挫折和失败，就不会有成功和胜利。”
毛泽东的话象阵阵春风，吹进了战士们的胸膛，把大家心头的火苗又吹旺了。战士们尽管个个都是面黄肌瘦，又疲惫，又憔悴，但这时眼睛里又闪烁着希望的光芒。队伍解散以后，大家纷纷议论：
“毛委员不怕，我们还怕什么？”
“贺龙两把菜刀起家，我们几百个人还怕起不了家？”
罗荣桓听着同志们议论，亲眼看到这支快垮的部队终于又振作起来，不由露出会心的微笑。他在一九五七年回顾在我军建军史上这一具有重大意义的历史事件时写道：“三湾改编，实际上是我军的新生，正是从这时开始，确定了党对军队的领导。当时，如果不是毛泽东同志英明地解决了这个根本性的命题，那么，这支部队便不会有政治灵魂，不会有明确的行动纲领，旧式军队的习气，农民的自由散漫作风，都不可能得到改造，其结果即使不被强大的敌人消灭，也只能变成流寇。当然，三湾改编也只是开始奠定了新型的革命军队的基础，政治上、思想上的彻底改造，是一个长期斗争的过程。”从此，罗荣桓便积极参加了毛泽东领导的这一创建新型革命军队的全部过程。
十月三日，部队由三湾出发，当天下午到达宁冈县的古城。
宁冈是深山之中天高皇帝远的偏僻小县。它历来是被压迫的农民结义啸聚的场所。民国以来，朱聋子的义军①〔民国初期，井冈山地区活动的农民武装首领〕，出没其间；后来，王佐、袁文才又继之而起，一个在山上，一个在山下，互相呼应，杀富济贫。
宁冈的古城，又名老三街，曾经是县治所在地，位于深山之中，只有一条短短的石板路，荒凉破败，人烟稀少。
曾经作为县治的古城尚且如此荒僻，山上更可想而知。眼看着要在这样的地方安家，那些思想动摇的军官，心里不禁凉了半截。这时，又有几十人请了“长假”。其中有些人以后仍然坚持了革命，有的却消极起来，甚至当了叛徒。
后来，罗荣桓曾将部分人因吃不了苦而动摇离队的过程称为“自然淘汰”。经过这一淘汰，部队已不足千人，但它却更为精粹了。
部队进驻古城的当天，毛泽东在文昌宫里召开了前敌委员会扩大会议，决定联络王佐、袁文才部队，争取在袁、王驻地井冈山安家。在会议上，毛泽东指出，现在党在部队里还没有扎根。为了把支部建到连上，各单位要积极吸收先进分子入党。罗荣桓出席了这次会议。
十月七日，部队从古城出发，当天下午，到达茅坪一带。这里已是井冈山脚下了。
部队驻下后，立即建立留守处和后方医院，安置伤员。为了揭穿国民党制造的共产党已被消灭的谎言，扩大工农革命军的影响，并对罗霄山脉中段地区作社会调查十月十日左右，毛泽东决定部队沿湘赣边界南下进行游击活动。因为郭亮在北伐时期曾任湖南总工会主席，在群众中有很高声望，部队向湖南边界活动，即以“郭亮团长”的名义，到处贴布告，刷标语。罗荣桓在行军中亲自提了石灰桶子，拿着用笋壳和棕毛缠起的笔，和战士们一道在墙上书写“打倒蒋介石！”“打倒新军阀！”“打倒土豪劣绅！”“打倒帝国主义！”等标语。
部队经宁冈大陇、湖南酃县十都，十月中旬到达酃县水口。
第二天晚上，罗荣桓和各连的党代表都到团部驻地叶家祠堂的楼上，参加了由毛泽东亲自主持的全团第一批新党员欧阳健、赖毅、李恒、鄢辉等六人的入党仪式。仪式结束后，毛泽东要求各连党代表都要积极培养发展新党员，照这个样子给新党员举行入党宣誓。
几天后，茶陵方向有两团敌军向水口移动。前委决定兵分两路。由团长陈浩、团党代表何挺颖等率第一营二连、三连为一路，经安仁袭扰茶陵，毛泽东率领第三营、第一营一连和团部特务连继续沿湘赣边界南下。
仿效毛泽东已做出的榜样，在途中，罗荣桓除做宣传工作外，把更多的精力放在连队建党上面。当时，特务连除罗荣桓、曾士峨和副连长张宗逊外，一个党员也没有。为了迅速在连队建立党支部，罗荣桓行军时一面帮助战士们背枪，一面同他们拉家常，了解情况，物色和培养发展对象。很快，罗荣桓熟悉了全连每一个战士的经历、家庭和思想状况，并从中选择了八名发展对象，让他们填写了入党表格。
十月二十二日，部队进驻江西省遂川县的大汾。晚上，特务连在一个阁楼上举行了第一次入党宣誓仪式。在会场的一侧放了一张方桌，桌沿压了一张红纸，红纸一直垂到地面，上面用毛笔写C．C．P 三个英文字母和入党誓词：“牺牲个人，严守秘密，阶级斗争，努力革命，服从党纪，永不叛党。”在红纸上面压着一盏油灯。在方桌前面放了几张破旧的条凳。
罗荣桓早早就来到会场，他招呼那八位新党员在条凳上就坐。不一会，毛泽东在曾士峨、张宗逊陪同下也来到了会场。
这时，夜幕已经降临。罗荣桓点起了油灯。那灯光缓缓地跳动，映着桌上的红纸，泛着红光，使人感到十分温暖。
入党仪式开始。罗荣桓首先解释了C．C．P 三个字母就是英文的“中国共产党”的缩写，又讲解了六句誓词的意义。接着，他请八位新党员逐个谈了自己的经历和入党动机，然后，他请毛泽东带领大家宣誓。党员们都站起来，举起右手，随着毛泽东逐句诵读誓词。声音粗犷而又坚定，使这简单朴素的入党仪式显得非常庄严。
仪式结束后，罗荣桓请毛泽东讲话。毛泽东听到这八位同志对党的认识、入党动机都谈得比较好，很高兴。他点点头，对大家说：从现在开始，你们就是共产党员了。共产党员现在要为推翻地主豪绅统治，建立民主共和国，将来要为实现社会主义、共产主义而奋斗。你们在群众中要发挥模范作用、先锋作用和骨干作用。要紧密地团结群众，及时向组织反映部队情况……
毛泽东和罗荣桓等党代表在水口、大汾等地发展了人民军队最早的一批士兵党员，有了这批党员，“支部建在连上”才开始落到了实处。对于这件事，罗荣桓非常重视，给予很高的评价。他在一九五六年回忆道：“党的支部建在连上，小组深入到班排，现在看起来没有什么，但是从总结历史经验来看，意义是伟大的。大革命时期的国民革命军中，也有些党代表是共产党人，有的部队也有我们党的组织，但并没有把党的基层组织深入到连队去。陈独秀不重视军事工作，甚至反对军事工作，放弃党对军队的领导，致使后来党代表都被赶出来了，主要原因就是没有建立党的基础……毛主席提出支部建立在连上，小组设在班排，与群众直接联系，这对于加强党对军队的领导起了决定的作用。”
散会后，罗荣桓、曾士峨和张宗逊将毛泽东送走，然后又分头到各排查铺。当他们回连部时，地上已经凝结了一层浓重的露水。罗荣桓打开线毯铺在地上，招呼曾士峨、张宗逊躺下。三个人挤在一起又回顾了这一天的工作，对明天的工作进行了安排。等他们入睡的时候，鸡已经叫了头遍。
罗荣桓刚刚睡着，忽然被一阵枪声惊醒，他们三人一跃而起，立即招呼紧急集合，把部队带出了村。这时天已拂晓，只听得四下枪声不断，但是敌情不明。后来才知道，敌人是当地反动武装肖家璧的靖卫团。
这种遭敌人突然袭击的情况对罗荣桓来说已经不是第一次了。在麦市遭到敌人的突然袭击时，听到枪响，还有点紧张。现在已经多少摸到了一些规律。他后来说打仗有点象小时候捉蛇，刚开始不免有点害怕，但一掌握了规律就没有什么了。
罗荣桓在周围密集的枪声中，敏锐地感觉到，在这种敌情不明的情况下，关键是首先占领制高点。他向路边一个山头一指，大声喊道：“跟我来，占领这个山头！”说着就领头往山上冲。这山上杂树丛生，脚底下乱石累累。罗荣桓用大刀拨开面前的树枝藤蔓，脚底下踩着高低不平的乱石，一个劲向上攀登。到了半山腰，忽听得啪啦一声，原来一根被拨开的树枝又弹了回来，打到罗荣桓的脸上，把眼镜给刮掉了，落到了草丛里。
“糟啦！”罗荣桓焦急地蹲下身去摸了一阵，但没有找到眼镜。这时战场上的形势瞬息万变，一秒钟也不能耽搁。他顾不得找眼镜，又向山顶冲去。当快到达山顶时，罗荣桓忽听得山那边咋咋唬唬。原来是敌人快占领山头了。他连忙指挥战士们投弹，同时，将自己的一颗手榴弹甩了出去。随着轰隆轰隆的爆炸声，敌人死的死，伤的伤，剩下的吓得又滚下山去。
天大亮了。工农革命军占领了几个山头。可往四下一看，到处都有敌人。再同敌人纠缠下去显然不利，毛泽东命令部队分散撤退，到荆竹山集合。这时，第三营已同团部失去了联系。他们在张子清和伍中豪率领下继续南下到湘南去了。
罗荣桓和曾士峨带着两个排随毛泽东向井冈山方向转移，一直到黄坳，才停了下来，一面休息，一面收集失散人员。
罗荣桓看到这两个排三十多人稀稀拉拉分散坐在地上，肚子早就饿得咕咕叫，可伙食担子已经跑丢了。罗荣桓只好和曾连长凑几个钱，带了几个战士到老乡家里找来一些剩饭和泡菜辣椒。罗荣桓和几个战士把饭箩抬到一块空地上，招呼毛泽东和战士们来吃饭。战士们架好了枪，走到饭箩跟前，每人分得一瓢饭，但是却没有碗筷，有人用手捧着吃，毛泽东穿着长衫，便用衣襟兜着，然后用“两双半”抓饭吃。
等大家都吃饱了，饭箩已经送还老乡，毛泽东站起身来，向空地走了几步，双脚并拢，身体笔挺，精神抖擞地对大家说：“现在来站队了。我站头一名。请曾连长喊口令。”罗荣桓立即入列，自动向毛泽东看齐。曾士峨也双手握拳，跑步走到指挥位置，虎虎有生气地下达了“立正”的口令。这时，战士们都抬起头来，他们为毛委员和连长、党代表坚强、镇定的情绪所感染，纷纷提枪入列……
就在这个时候，第一营一连和张宗逊带着的另一个排也到了，罗荣桓让张宗逊带一个排掩护毛泽东先走。队伍随后出发，于当天傍晚到达长满翠竹的荆竹山宿营。这时，已与王佐部队取得了联系，王佐派人到荆竹山来迎接部队上山。
第二天一早，部队出发前，毛泽东在队前讲了话。他要求大家遵守三项纪律：一、行动听指挥，二、筹款要归公，三、不乱拿群众一个红薯。毛泽东说：“我们是共产党领导的军队，只有严格遵守这三项纪律，我们才能搞好同山上群众和王佐部队的关系，才能在井冈山立足。”
这就是后来对人民军队建设具有重大意义的三大纪律的开端。
十月二十七日部队到达井冈山的腹地——茨坪。随后，去茶陵袭扰的第一营二连、三连在陈浩、何挺颖率领下，也到达井冈山归队。工农革命军终于把红旗插上了井冈山。