一九三四年九月，红八军团在兴国县集贤圩组成，下辖第二十一师、第二十三师，共七千余人，其中除少数团队打过仗外，部队大都由新兵组成。罗荣桓被调到这个军团任政治部主任。军团长周昆、政委黄甦在一军团时，一个是师长，一个是师政委，都是罗荣桓的下级。罗荣桓对于他们后来居上并不在意，可是这支部队究竟能不能打仗，他却颇为担忧。
罗荣桓一到职便匆匆下部队进行反“围剿”动员。
十月十七日，红八军团奉命撤离兴国县古龙岗地区，进行战略转移。当时，罗荣桓看到发下了湖南省地图，虽然预感到部队将会进行远距离行军，但他和广大干部、战士一样，并不知道这就是长征的开始。
八军团一组建就赶上长征，一直担任方面军的右侧卫。罗荣桓到任后竭尽全力，做好思想政治工作，每天出发前都要向各部部长和各师布置工作。对于如何巩固部队也不时向军团长和政委提出自己的建议，但得不到他们的重视。看来，他们对这位老主任也不甚尊重。连第二天行军要走多少里，预定到哪里宿营，都不通知他，他只好让刚从团里调来的直属队书记温玉成每天去司令部询问。这支没有经过锻炼的部队，不用说打仗，连路也不大会走，天天都有掉队和开小差的。罗荣桓眼看着队伍不能巩固，心情很不好。
十一月下旬，红军突破敌人三道封锁线后，来到湘桂边境。八军团在道县过潇水后随九军团向江华、永明（今江永县）方向前进。二十八日，军委突然电令八军团到灌阳县水车地区，与三军团第六师取得联络。由于追兵紧跟在后，去水车还要绕道，返转去再走道县。情况已十分紧急，部队来不及动员，便出发了。事先连侦察员也没有派，只好边搜索边前进。部队走走停停。后来才知道，前面走的就是三军团。由于事先不派人出去侦察和联络，结果白白耽误了时间。宿营后，组织部长甘渭汉对这一天行军乱糟糟的状况很不满意，便问罗荣桓：“在白区行军，怎么事先连个侦察连也不派呢？”罗荣桓皱着眉头说：“我们管不了这些事啊！”是啊，每天的行军路线都不通知他，他哪能管得了派侦察连呢？
二十九日，部队已经极度疲劳，战士们走着走着，一头倒在路旁便呼呼睡着了，怎么喊也喊不醒。性情暴躁的黄甦急得用马鞭子抽打，可打醒了这一个，那一个又躺下了。周昆平时是慢性子，此时也只好向天空打机关枪。还在梦中的战士被枪声惊醒，以为又同敌人遭遇，一下子跳起来，又跌跌撞撞地向前进。事后，周昆还很得意地向人介绍这一“经验”。罗荣桓听了很不赞成，坦率地对周昆说：“战士们听到枪响跑得快。是因为怕当俘虏，这种办法只能一时有效，用多了，战士们知道你骗他，就不灵了。”
听罗荣桓这样讲，旁边的同志都不禁想起他一路上经常讲的话来。他说：
“现在做政治工作不是靠上大课，讲大道理，更不是靠哄靠骗，而是要靠支部的堡垒作用，靠干部以身作则，靠宣传鼓动。现在深入白区行军，有时吃不上，有时睡不了觉，几乎天天要打仗，可得不到休整的机会，困难很多，有些困难可以克服，有些硬是克服不了。怎么办泥？那就要号召大家来忍受。对这种困难你不承认，人家就不服气。你要承认它，然后号召大家忍受，首先是靠党员、干部来忍受，再把群众带动起来。不能叫人家吃苦，自己倒坐在马背上。”
听到罗荣桓直言不讳的意见，大家暗暗点头，都深深感到，在这样艰苦困难的环境中，没有实事求是的精神，没有干部、党员吃苦在前、享受在后的模范带头作用，是很难带好这支部队的。
午夜，第八军团来到预定同三军团第六师会合的地点--水车，可第六师已奉命赶往湘江。同八军团不期而遇的是全军后卫五军团的第三十四师。于是，八军团无形之中也成了全军的后卫。五军团是惯打后卫防御战的主力，而八军团却是一支新部队。后卫对他们来说，是一副过分沉重的担子。
在从水车到湘江岸边的路上，八军团且战且走。紧张的时候，敌我已搅到一起。参谋长毕占云不时发出“非战斗单位跑步前进”的命令。罗荣桓和机关人员一样，掏出手枪直接参加了战斗。自从他担任红四军政委以来，这还是很少有的情况。
十二月一日下午，罗荣桓随部队赶到了湘江边。他带领着自然而然集合到他身边的政治部的几个人，挽起裤腿徒涉渡江。这是湘江的上游，江水只有齐腰深，可寒冷彻骨。敌机轮番轰炸、扫射，激起一股股水柱，不断有人倒下，迅速被激流冲走……
当罗荣桓冒着弹雨趟过湘江，到达西岸时，跟随他的只剩下一个扛着油印机的油印员。这时，第一军团政委聂荣臻正在湘江西岸阵地上指挥一军团掩护后续部队渡江。聂荣臻看到罗荣桓过了江，便招呼他在一个棚子里休息。罗荣桓心情十分沉重，他和老战友打了一个招呼便闷闷地坐在一旁。
不一会儿，周昆也赶到了。先头渡江的电台政委袁光找到了首长，便向他们报告：电台过来了，可牺牲了几位同志，还丢掉了一副备用电池。周昆听了摇摇头沮丧地说：“部队伤亡太大了，我也是晒干的蛤蟆，只剩了一层皮。”早在井冈山时期，周昆是八连的战士，罗荣桓对他比较了解，知道他的情绪易于波动。罗荣桓怕他的话影响大家的情绪，赶紧补充说：“你们电台的同志不错，在这样险恶的情况下，还保住了电台。”
当晚，罗荣桓和聂荣臻一起宿营。第二天，整理队伍，八军团第二十一师完全垮掉，第二十三师也严重减员。整个军团三停已去二停，还剩下不足二千人。
过湘江后，翻过老山界，便进入了大苗山，这一带到处都是陡壁悬崖。走这样的山路，战斗部队还好说，可电台却碰到了难以克服的困难。有一天，电台政委袁光听说军团卫生部担架队要解散，便想从担架队要几个人到运输排抬机器。他到军团部向首长们提出这一要求，话还没有说完，黄甦便发起火来：
“这么几个人补充战斗部队都不够，哪里有人给你们！我告诉你，一个人也不给。可如果把电台丢了，我杀你的脑壳！”
碰了这么一个大钉子，袁光满脸是懊丧的神情。罗荣桓怕他下不了台，转了一个弯，缓和地说：“电台的同志确实很辛苦。可现在战斗部队更需要人。你们还是要靠自己的力量克服困难。出发以来，你们一直是军团的模范单位。我们相信你，而你也要相信电台的同志们，只要向大家讲清楚形势和道理，困难还是可以克服的。”
听了罗荣桓的话，袁光的情绪稍有好转，便回电台召集干部开会，研究克服困难的办法。大家商量决定，尽量抽调人员加强运输排，并逐个予以落实。这个间题刚解决，司务长又提出一个难题：“这一带苗族同胞都跑进了深山，找不到群众。路边有点粮食都被前面部队吃光了。我们眼看就要断粮。吃不饱肚子，机器恐怕还是抬不动。”他这一说，刚刚兴奋起来的情绪又低落下来，几个排长都蹲在地上闷闷地抽烟。
袁光正一筹莫展，忽然听到后面传来非常熟悉的湖南口音。
“粮食问题一定要解决。大队出发前你们可以先派几个人到前面买粮食。搞到了就在路边等部队。搞不到别的，有红薯也行。来不及煮就吃生的。”
袁光回头一看，是罗主任在说话。原来他怕袁光思想不通，也跟着走来。会后，根据罗荣桓的意见，司务长便带着几个炊事员提前出发了。
在协助袁光解决电台问题的同时，罗荣桓又将目光转向了经常掉队的迫击炮连。电台不好背，炮可是更加难扛啊。罗荣桓吩咐温玉成去跟迫击炮连走一天，看看都有些什么问题。温扛了一天炮筒子，晚上回来后对他说：“唉呀，我的肩膀都磨破了。”罗荣桓听了非常关切，忙说：“快让我看看。”他让温玉成解开上衣，看到他肩头磨破的血泡，便吩咐警卫员去将卫生员找来给温上药。上完了药，温玉成想汇报炮连的情况，罗荣桓摆摆手说：“不忙汇报，你先去吃饭，已经给你留饭了。”温到伙房一看，留了一大盆他最喜欢吃的猪杂碎。
温玉成吃饭回来，对罗荣桓说：“在山路上，不但炮筒子要扛，炮盘也得扛，扛炮的人还要背自己的行李……”罗荣桓点点头，问温：“你看有什么解决办法没有？”温玉成摇摇头，罗荣桓也没有再说话。
第二天一早，罗荣恒又对温玉成说：“今天你还去迫击炮连。让扛炮的专门扛炮，他们的行李分散开让大家扛，你要给大家算算帐，炮筒子多重、炮盘多重，炮弹又有多重，讲清楚为什么扛炮的同志的行李要大家来背……”
温玉成刚要走，罗荣桓又把他叫回来说：“这里是苗族聚居区。告诉大家千万要注意纪律，不要拿群众的东西。群众不了解红军，看到我们就跑，不要开枪，不要追，也不要喊。你喊他也听不懂，反而跑得更快。告诉同志们，千万不能掉队，后面是敌人，山上是少数民族，掉了队就没有出路了。要咬紧牙关。两三天后过了这个地区就好了。”
温玉成到迫击炮连传达了罗荣桓的指示，大家都很高兴。这一天，基本上没有掉队的。温玉成回来向罗荣桓一汇报，可罗脸上并无多少喜色。他沉重地说：“这个办法也只能是治标不治本，收效于一时。长期下去恐怕还是不行。”
果然如此，后来到黎平整编时，这个连的炮弹打光了，炮也都埋掉了。
当时，在李德逃跑主义的错误指挥下，虽经千万红军战士浴血奋战，但仍扭转不了被动局势，罗荣桓也自然无法改变八军团的局面。但他仍然关切地注视着部队，发现了薄弱环节便主动地去拾遗补缺，尽可能地发挥着政治工作的威力。
十二月十三日，军委命令撤销第八军团建制，部队并入五军团。罗荣桓任五军团政治部主任，未到职，又调到三军团代理政治部主任。
一九三五年一月，红军强渡乌江，攻克遵义。中共中央在遵义召开了政治局扩大会议。遵义会议结束了“左”倾冒险主义在中共中央的统治，确立了以毛泽东为代表的新的中央的正确领导。遵义会议以后，罗荣桓代理了很短时间三军团政治部主任，又调回总政治部任巡视员。
当时，总政还有一位巡视员是冯文彬。他们两人也没有什么工作，天天跟着干部团行军。跟干部团行军可又不归干部团领导，两人就互称“独立巡视员”。他们两人经常骑着骡子边走边讨论“左”倾冒险主义给革命事业造成的危害，议论李德的错误指挥使得部队天天打败仗。罗荣桓谈起这些问题时经常不胜感慨地说：“我们的部队过去从来没有到过这一步田地。”
五月初，红军胜利渡过金沙江。罗荣桓奉命到一军团第二师巡视。这时，风传供给部要收掉罗荣桓的骡子。第二师师长陈光、政委刘亚楼都为罗荣桓打抱不平。他们对罗荣桓说：“你不要回去了，就跟我们二师一起走吧！跟我们走比跟机关走还要安全一些。”但是罗荣桓摇摇头，笑呵呵地说：“骡子现在并没有收。即便收了，我还有两条腿嘛！有么子要紧！”他在了解了部队情况后，便返回总部。
一九三五年六月间，第一、四方面军在懋功会师。八月间，红军兵分两路北上。右路军由中央和毛泽东率领，包括第一方面军的一、三军团和四方面军的第四军、第三十军。左路军由红军总司令朱德和总政委张国焘率领，包括四方面军的第九军、第三十一军、第三十三军和一方面军的五军团和九军团。
八月下旬，右路军以第一军团、第四军和第三十军、第三军团的序列北上。罗荣桓随后卫三军团四师十团行动。
从毛儿盖出发的第二天便进入了水草地。天老是阴沉沉的，空气中飘动着经久不散的雨丝和雾霭，不时又来上一阵倾盆大雨或是栗子般大小的冰雹。罗荣桓虽然戴了一个破斗笠，可既不挡风，也不遮雨。他和同志们一样，衣服紧贴在身上，几乎没有干的时候。到晚上露营时，他便找一块高一点的地方，搂来一些枯草，将线毯铺在上面，一半垫，一半盖，裹着毯子入睡。
一天午夜，连绵细雨把他的毯子打湿了，北风一吹，冻得他象是掉进冰窟窿，无法入眠，他只好起身挤到篝火边去烤火。同那些也是冻得睡不了觉的战士们一块儿讲故事、说笑话，一块儿唱歌，用歌声笑语来驱赶潮湿和严寒。这一宿罗荣桓又是一点未睡。第十团二营的干部们看到眼里，记在心头。第二天宿营时，他们吩咐几个战士找一处避风的地方给罗荣桓搭一个草窝。傍晚，当罗荣桓发现这草窝时，战士们都快搭好了。罗荣桓以为他们是自己用的，便高兴地表扬道：“这个窝搭得好！如果一个班有两三个这样的草窝，夜间就好过了。”
战士们听到他表扬，一个个美滋滋的。班长乘机说道：“首长，你躺下试试好吗？”
罗荣桓点点头躺了下去。
班长问道：“首长，还行吗？”
罗荣桓高兴地说：“要得，又松软又暖和，再好没有了。”
“那今晚你就睡在这里吧。这是我们特意为你搭的。”
“什么？”罗荣桓坐起身来，扶一扶眼镜，脸上的笑容消失了。他问道：“告诉我，是谁让你们给我搭的？”
战士们未曾想到罗荣桓会如此认真，面面相觑，不知如何是好。那班长只好结结巴巴地说，是他们几个人商量着搞的。罗荣桓见他们说话吞吞吐吐，已经明白了八九分，便不再追问。他挨个瞧了瞧这些可爱的战士，叹了一口气说：“你们搭这么好的草窝，应该感谢你们。可这草窝我没有资格住，应该留给伤病员。”说完他就离开大家，另找地方休息去了。
一进入水草地，固定的道路便消失了。到处都是不知从何而来也不知流向何方的小河。河水大都很缓很浅，可有一道河的流水却非常湍急，下了河拄着棍子也站不住。罗荣桓过河后叫他的马夫牵着小黑骡子又返回去，一趟一趟驮病号。一些小鬼便拽着骡子尾巴过了河。罗荣桓一直站在河边观看。等同志们都过来了，他亲呢地拍拍小黑骡子的颈子说：“这头小骡子又立功了！它对革命的贡献可不小！”
罗荣桓这样说，当然不仅仅是因为这头骡子帮助不少人过了河。在长征路上，它一直都在驮病号。进草地以后，病号越来越多，而牲口越来越少。病号能骑上牲口便算是幸运的了，而有的重病号孱弱得连牲口也骑不住，还得靠同志们背和抬。
在草地行军，饥饿严重地威胁人的生命。从毛儿盖出发时，每人只带了一小口袋炒青稞麦。一路上大家边走边摘野菜，到了宿营地，在篝火上用搪瓷缸子把水烧开，放一把麦粒，再放一点野菜，调一调，就是一餐。越走到后来，搪瓷缸子里的麦粒越少，终于只剩下野菜了。
十团进草地刚三天，就断了粮。团里的牲口杀了，同志们的皮带也进了肚子，到最后两天部队一粒粮食也没有了。这一天，罗荣桓又将骡子让给他的警卫员，外号叫“锤子”的一三岁的四川小鬼骑了。他一面走一面和陈海涵营长聊天。他向陈海涵了解指战员的思想情绪。陈海涵向他汇报：“战士们情绪都很好，决心跟着党中央、毛主席走到底。”
罗荣桓点点头说：“很好，一定要跟着党中央、毛主席北上抗日！”他又强调了一遍，语气斩钉截铁。接着又问陈海涵：“现在部队没有东西吃，你们打算怎么解决？”
陈海涵回答：“可以挖野菜，茭子、猪菜都行。如果碰到树林子，还可以找到蘑菇。只要每天能吃上一顿饭，部队还能坚持。”
“对！”罗荣桓充满信心地说，“很快就要到有人家的地方了。一定要勒紧裤带，坚持下去！”
“首长，请放心！”陈海涵激动地向罗荣桓表示：“几座大雪山都爬过来了，这水草地，滚也是要滚过去的！”
“嗯，”罗荣桓连连点头：“我们就是要有这么一点精神！”
他们正边走边谈，“锤子”赶了过来，请罗荣桓骑牲口。罗荣桓摆摆手说：“我不骑了，我们该准备晚饭了。”他又向陈海涵招招手，便领着“锤子”走了。他的马夫牵着骡子在后面跟着。三个人边走边弯腰摘野菜。陈海涵目送着他们远去，不觉心里一动。他想：“罗主任可是近视眼啊，他又能采到多少野菜呢……”
果然，罗荣桓一来个子高，二来眼神不济，尽管他努力搜寻，但收获不多。可那“锤子”也许是骑了一段牲口，又有了精神，这里拔一棵，那里掐一把，不一会就摘了一大捧……
天黑了，草地上升起一堆一堆篝火。“锤子”将野菜洗净，煮了一盆子。罗荣桓他们三人正在篝火旁津津有味地吃着，突然走过来一个掉队的病号。他拄着棍子一瘸一拐地走到篝火旁边。罗荣桓连忙打招呼：“同志，这边坐，来，烤烤火。”
那病号一步一步挪到篝火跟前，一屁股坐到地上就再也不想动了。罗荣桓借着火光看着这位同志憔悴的面容和没精打采的神情，关切地问道，“同志，你还没有吃饭吧？”
那病号点点头。
“来，这里有野菜！”罗荣桓说着就把茶缸子送过去。
“不……”那病号连连摆手说：“首长，你……”
“我已经吃饱了。”罗荣桓爽朗地说。
“锤子”和马夫也连忙伸出自己的茶缸子，异口同声地说：“还是吃我的吧。”
“还是我剩得多。”罗荣桓硬是将自己的茶缸子塞到那病号手里……
这一切都被坐在另外一堆篝火边的陈海涵看到了。他想：“罗主任他们本来采的就不多，怎么经得住又给张三、又给李四！”他站起身，来到一个连队，通过指导员找来两个班长，让他们两个班负责帮罗主任摘野菜。他嘱咐道：“要悄悄地交给‘锤子’，一定不能让罗主任发现。”
出草地的那一天，走了九十里地。一路上，一点野菜也找不到了。战士们都疲惫不堪，走五六里地就要休息一次。已经到下午三四点钟了，罗荣桓还一点东西也没有吃。陈海涵看到这一情况，在大休息的时候到班排里转了一下，发现有的班还剩下一点野菜。他吩咐一位班长，叫他悄悄将罗主任和他的警卫员请到班里来吃野菜。在请的时候，要讲究一点方式方法。
那班长将罗荣桓请到班里，对罗荣桓说：“罗主任，我们一起从江西走到这里，已经是一家人了。对北上抗日，我们是有信心有决心的。但是，今天我们对你有一个要求，你无论如何都要答应。”
罗荣桓被他说得莫名其妙，问道：“是什么要求啊？”
那班长笑了一笑说：“你答应了，我才讲呢。”
罗荣桓看看那班长，又看看周围那些用期望的目光注视着自己的战士，点点头说：“好，我答应了。”
那班长象变戏法一样，立即端出一盆煮好的野菜，说：“也没有别的要求，就是想请你吃一点东西。这是我们专门给你留下的面对着这一盆野菜，在场的战士们眼睛里都闪着泪花，罗荣桓的眼睛也湿润了。他摘下自己的眼镜，用上衣的下摆，缓缓地缓缓地擦着……
经过七天泥里水里、忍饥受寒的艰苦行军，部队终于走出了草地。远处出现了山峦、树木、房舍、炊烟、牛羊，眼前有了人马踩出来的小路，路旁开放着五色缤纷的野花。战士们一踏上坚实的土地，一个个高兴得又蹦又跳。有的拣起石子使劲扔出去，似乎是要显示一下自己从死亡线上挣脱出来以后还有多强的臂力。有的摘下一串串象葡萄似的金黄色的野果子，迫不及待地送进嘴里。有的采来一束小花，仔仔细细地系在自己的胸前。
罗荣桓笑眯眯地看着这些充满了活力的战士，拍拍陈海涵的肩膀说：“你看，战士们的情绪多高！他们好象不知道什么叫疲劳和饥饿。”他停顿了一下，微微点着头又坚定地说，“这是一支多好的队伍！古人形容岳飞的队伍，有这样一句话：‘撼山易撼岳家军难。’我们这支队伍比岳家军更为巩固。有这样一支打不垮、拖不烂的队伍，革命是一定会胜利的！”他看看陈海涵，语气又急迫起来：“不过，当前最急需解决的问题是--吃饭！”
“是的！”陈海涵点点头，立即命令通信员通知各连，抽一些体力较强的同志组织筹粮队。通信员还没有走，忽然接到前面的报告，右前方发现马步芳的骑兵，大约有一个连，正向二营运动。二营的干部立即召开碰头会研究对策。会上，有的认为我们已经筋疲力竭，应该避开敌人，有的主张打，为牺牲在草地上的同志报仇，可因为没有经验，对如何打骑兵也提不出具体意见来。正在大家讨论不决时，在一旁踱步的罗荣桓突然停下脚步问道：“你们肚子饿不饿，想不想吃马肉？”他一句话，使同志们心里亮堂了。
“南方有不少人不用说马肉，连羊肉都不吃。现在恐怕不能讲究这些了。你们吃不吃马肉我不知道，反正我是吃的。”
“罗主任，你是说要打骑兵？”营长兴奋地问道。
罗荣桓点了点头说：“对。但是对付骑兵不能冒失。部队太疲劳了，得想想办法。”说着他蹲下身来，边比划边说，“你们见过江西老表打猎吗？他们都是藏起来守候着猎物进入射程。今天我们也应当用这个办法。”
按照罗荣桓的建议，陈海涵给各连分配了任务。部队立即散开占领有利地形。机枪都架起来了。战士们有的迅速挖好简单的掩体，伸出了步枪；有的将手榴弹盖拧开……不到二十分钟，一切准备就绪，专等敌人上钩。
敌人闯来了。二百米、一百米……当敌人离红军阵地只剩下五六十米时，“打！”二营长一挥右臂，八九挺机枪都吐出了火舌，手榴弹也接连在敌群中爆炸。敌人人仰马翻，乱作一团。二营长又跃起身率领部队向敌人冲去……
不到一个小时，战斗结束。在二三百米宽的山上横陈着几十具敌军人马的尸体。战士们高高兴兴地打扫战场。有的搬运战利品，有的宰割死伤马匹，烧火烤肉，有的还把马肚子里未消化的青稞麦粒掏出来，准备冲洗后熬粥喝。
开饭了。罗荣桓同大家一道津津有味地咀嚼着那烧得黢黑的马肉。他刚吃了几口，突然问道：“部队都吃上了没有？”
陈海涵回答：“都吃了。有的战士吃了足有二三斤。他们说，吃了这一顿又可以坚持走好几天了。”
罗荣桓哈哈一笑说：“可不能吃得太多，小心把肚子撑坏。”
停了一会，罗荣桓放下马肉，搓了搓手，又问陈海涵共缴了多少匹马，准备怎样处理。陈海涵汇报说，死活加在一起共四十多匹，十几匹死的除了部队吃一顿并给每人带一点以外，都留给后面的部队。 罗荣桓问道：“这样处理是谁的主意？”
陈海涵回答：“是战士们提出来的，我们几个干部感到这意见不错，就采纳了。”
“好！”罗荣桓很高兴。他拍了一下大腿，迅速站立起来说：“部队在艰苦的环境中，提倡同心同德、互助互让，十分重要。有了这种精神，什么困难也不可怕，再严峻的考验也能经受得住。”
严峻的考验果然很快来临了。
当罗荣桓随右路军后卫——第三军团四师十团经草地到达巴西、阿西时，张国焘不但不按照中共中央政治局沙窝会议的决定--率左路军北上，反而要求右路军全部南下，企图分裂红军，危害中共中央。
为了摆脱张国焘的威胁，毛泽东发出了三军团和中央纵队立即出发，脱离危险地带的命令。于是，罗荣桓随同掩护中央的十团迅速北上，九月十一日，到达俄界。
罗荣桓又回到了一军团，任政治部副主任兼地方工作部部长，此时政治部主任是朱瑞。政治部的干部有的已有好几年未见到罗荣桓了。久别重逢，大家都很高兴。
九月十八日，第一、三军团到达悬窝。翌日，部队合编为陕甘支队，由彭德怀任司令员，毛泽东任政治委员。一军团改称第一纵队，政治部建制不变，罗荣桓继续任副主任。
九月二十日，罗荣桓随部队到达哈达铺。这是岷民县南面一个有几百户人家的集镇，有不少卖吃食的商贩。国民党部队从这里溃逃，留下了几百担大米和白面。从雪山、草地来到这里，真是另一个天地。罗荣桓一到哈达铺见到他认识的指挥员便嘱咐道：“同志们战胜了敌人的围追堵截，爬雪山、过草地，来到这里，很不容易。幸存下来的都是宝贝。革命就要靠这些人了。因此，所有的伤病员都要抬走，一个也不能丢！”
为了恢复指战员极度衰弱的体力，准备继续北上，供给部门给每人发了一块光洋，政治部提出了“大家要吃得好”的口号。
这一天晚上，罗荣桓和当时一军团的宣传部长邓小平、组织部长谭政，还有政治部的几位干事围坐在老乡家的炕头上吃辣子鸡。吃着吃着，大家感到屁股下面越来越热，有的同志以为是着了火。罗荣桓在青岛大学读书期间虽然曾经到高密农村住过，但那是夏天，没有烧炕，他一时间也说不准是怎么回事。经过老乡解释，大家才恍然大悟。对这一北方人民的创造——今后要伴随他们度过十几个严冬的火炕，一时不免感到新奇。
更值得罗荣桓、邓小平高兴的是，民运干事肖望东搞来了一些烟叶，分给他们一人一把。在长征路上，这两位烟瘾很大的人没有烟抽，感到十分难熬。有时实在瘾得不行了，罗荣桓便睡觉，可邓小平却睡不着，他常常跑出去搜罗烟叶，但十次倒有九次是空手而归。有一次他兴冲冲地跑回来，喊道：“老罗，起来！我搞到烟叶了。”罗荣桓起来一看，原来是干树叶子。两人相视而笑，立即将这些树叶装在烟袋锅里过瘾。这时，他们看到这金灿灿、黄橙橙、货真价实的烟叶，都喜出望外，立即揪下一块，搓碎，装进烟袋，仔细品尝起来。
当时，罗荣桓、邓小平都只分工负责一个部门的工作。从俄界出来便进岷山，走栈道，直到哈达铺，一路上见不到什么人烟，无土豪可打，也缺少宣传群众的对象。而他们两位虽然刚过“而立”之年，却已有了十来年的斗争历史，正处在精力充沛而又有丰富经验的黄金时代，处理起一个部门的工作来，自然是游刃有余。因此，他们除行军、工作外，都有不少空余时间来回顾往事，瞻望将来。
这两位有着共同遭遇的老战友在长征路上行军时并辔而行，休息时促膝谈心，宿营时抵足而眠，经常在一起议论“左”倾冒险主义给革命事业造成的危害。他们在谈到中央根据地的土地政策问题时认为，教条主义者规定富农分坏田，实际上是把富农当地主打，超越了革命发展阶段。他们还认为，对地富兼工商业者，只保护前面店堂里的东西，而没收后面住家的浮财，实际上也很难起到保护工商业的作用。他们谈得很多。邓小平后来回忆起这段情况时说：“我们是无话不谈。”
九月二十二日在哈达铺的关帝庙里召开了团以上干部大会，毛泽东讲了话。他在讲到克服过雪山草地的困难时，未指名地提到了罗荣桓。他说：“有一位同志过草地，没有东西吃，战士们请他吃野菜。他咬紧牙关，坚持着把部队带出了草地。”
散会以后，举行了会餐，吃了红烧肉。席间，毛泽东看到罗荣桓，问道：“罗荣桓同志，你走出草地，有什么妙计啊？”罗荣桓腼腆地笑了一笑，还没有考虑好如何回答，站在一旁的罗瑞卿开了腔：“他的妙计就是坚持同群众生活在一起，依靠群众又带领群众前进。”听了罗瑞卿的话，大家不禁暗暗点头，都感到罗瑞卿这一回答概括得既准确又深刻。
九月二十三日，部队继续北上。这一阶段罗荣桓、邓小平的工作要繁忙一些，但有时还可以抽出一点时间下一盘象棋。罗荣桓的警卫员一开始不会下棋，但首长们下棋时常在一边看，逐渐地看出了一点门道，对下棋发生了兴趣。罗荣桓便从车走直、马走斜开始教他下，时间一长，这个小鬼也懂得一点当头炮、把马跳了。他找来一块木板，画了一个棋盘，行军时便背在身上。到了宿营地，邓小平、罗荣桓等把工作处理完，有时便和他来上一盘。人多了，便不用棋盘。几个人围坐在一起打棋摞……
险恶的环境，频繁的战斗，艰苦的生活，漫长的征途，再加上并不顺利的境遇，这一切都丝毫不能影响罗荣桓、邓小平的情绪。他们始终保持了革命乐观主义精神，在红军队里，迈开双腿，过渭河、翻六盘山、跨越黄土高原数不清的深沟幽壑，终于在一九三五年十月十九日胜利到达红一方面军长征的终点——陕北吴起镇。
一九三六年二月，为扩大抗日武装和根据地，准备与日军直接作战，中共中央决定红一方面军渡河东征。
二月下旬，罗荣桓率领政治部部分人员随先头部队渡河，进行部队开进中的政治工作。第一军团全歼阎锡山的独二旅后，罗荣桓率政治部和宣传队在汾河下游宣传抗日，发动群众，筹款，扩大红军。
经受阎锡山残酷压榨、盘剥的山西人民，生活十分困苦，革命要求非常迫切。红军一动员，贫苦农民踊跃报名，迅速掀起了参加红军的热潮。报名参军的不仅有青壮年，而且还有五六十岁的老汉和十二三岁的娃娃。不让他们参加，他们就软磨硬泡，不达目的决不罢休。
罗荣桓住在赵城石止村时就碰到这样一个娃娃兵，叫崔宝珠。斯诺所写的《西行漫记》中有一幅题为《红军机器舞》的照片，前排中间的那个孩子就是他。他父母双亡，到处流浪。红军来到石止时，他才十二岁。这个年龄的孩子对红军宣传队是最感兴趣的了。宣传队一打场子，他就占了第一排的位置。部队出操、宣传、打土豪、分浮财，哪一次也拉不下他。部队一动员扩红，他就报了名。因为年龄小，长得又特别瘦弱，一开始部队自然是不收，但禁不住成天蘑菇，最后还是把他收下，放在宣传队当了一名儿童演员。
他刚刚穿上下摆超过膝盖、裤腿卷了好几层的“二尺半”，就跟部队转移了。第一天行军刚走了一半，他就走不动了，急得偷偷地掉眼泪。罗荣桓见到后翻身下马，弯下腰来问他：
“小鬼，你哭什么？”
“谁哭啦？”崔宝珠一面说一面抽着鼻子。
“啊呀，看你鼻子下面还挂了两条龙，就当兵了。是不是想家啦？”
“我没有家。”
“哦！”笑容从罗荣桓脸上消失了，“你当兵能吃得了这份苦吗？”
崔宝珠连忙摇摇头：“不苦！这比受阎锡山压迫强多了。”
“那你为什么哭鼻子呢？是走不动了吧？来，上马！”
崔宝珠把头摇成了拨浪鼓：“我不骑，不骑……”他想跑，一瘸一拐走出没几步，便被宣传队长梁必业等抓住，硬是扶上了马。见此情景，梁必业不禁回忆起他刚参军时的一件事……
那还是六年前，梁必业的年龄比此时的崔宝珠大不了多少，他和他父亲一起参加了红军。他被分配在红四军政委办公厅工作。部队从吉安向峡江转移的第二天走了七十里。梁必业掉了队。当他赶到宿营地时，军部正在开饭，菜已经分完了。梁必业盛了一碗糙米饭，蹲在一家店铺门口吃着，被坐在柜台里吃饭的罗荣桓看见。他连忙招呼：“小鬼，我这里还有菜，来，我们一起吃。”梁必业不好意思去。周围的同志都说：“罗政委喊你去，你就去吧。”他走到桌子跟前，罗荣桓叫他吃菜，可他夹了一块辣椒就一溜烟跑掉了，罗荣桓喊都喊不住。
不仅是梁必业，一军团许多老同志都知道，罗荣桓特别喜爱青少年。他从朝气蓬勃的青少年身上看到了红军的未来，看到了新中国的未来。崔宝珠后来改名为崔平，新中国成立以后，曾任核工业部矿冶局长。
五月上旬，罗荣桓随东征红军返回陕北。六月进入刚刚组建的中国工农红军大学学习。红大由林彪任校长，罗瑞卿任教育长。下设第一、二、三科。陈光任一科科长，罗荣桓任一科政委。他们都是一面工作，一面学习。一科共有学员三十八人，大部分是师以上干部。
七月上旬，红大随党中央由瓦窑堡迁到保安。一科设在保安东南面一公里处的半山坡上，依山有几十孔石窑洞。保安是北宋王朝在西北的门户。北宋、西夏曾在此迭次交兵。这些窑洞是不是那时修凿的兵营，已无从考证了。当罗荣桓到达这里时，只见山坡上稀稀拉拉长着几丛酸枣棵，石壁上高高矮矮露出几十个象蜂窝似的黑黢黢的洞口，这些洞口边缘经过年深月久的风雨侵蚀，都已风化剥落，显得龇牙裂嘴。有的洞口横七竖八支了一些树枝木棍，原来已成为老乡的羊圈。在这些窑洞里住了一个羊倌，还有他的一只牧羊狗和一群绵羊。也有些窑洞是空的，从里面不时扑扑飞出一群蝙蝠或野鸽子。
羊群迁走以后，罗荣桓动员大家自己动手搞卫生、清理校舍、修路。把窑顶已经剥落的石渣清除掉，把窑洞内的柴草羊粪清扫干净，在窑洞口用石块垒上墙和门洞。买一些木料做成门，打茅草编成厚厚的草门帘。在窑洞之间平整好道路。世界上绝无仅有的以窑洞为课堂和寝室，以石头砖块为桌椅，以石壁为黑板的大学校舍终于落成了。它同清华大学、北京大学乃至青岛大学的高楼大厦自然没法比较，可倒也冬暖夏凉，还不怕飞机轰炸。而这却是窑洞大学所独具的长处。
开学时，毛泽东来到学校，在开学典礼上讲了话，然后，由罗荣桓等陪同参观了教室和学员的宿舍。毛泽东看到石窑洞里的石桌、石凳、石黑板，不禁诙谐地说：“你们走的是石头路，坐的是石头凳，用的是石黑板，住的是石洞，真成了石器时代的人了。”
他的话把大家都说乐了。接着他又连连称赞这个地方清静、空气新鲜，要比他住的地方好。他感慨地说：“人有了两只脚两只手真是了不得，有了两只脚，一走就是两万五，有了两只手，把这个拦羊的地方搞得这样整齐。”
罗荣桓等陪同着兴致勃勃的毛泽东沿着石梯一直上到最高一层石洞。毛泽东叉着腰站在洞口，俯视着莽莽群山，风趣地说：“你们这真是原始天尊的弟子啊！”他又回过头问罗荣桓等：“你们何时下山啊？是等修炼好了，还是等天下大乱再下山啊？”
罗荣桓等回答：“我们学到了马列主义真经，练好本领就下山。”
毛泽东一行走后，罗荣桓召开了一科的第一次支部大会。内容主要是学习动员，讨论毛泽东的讲话，讨论在西征①战事紧张的情况下〔一九三六年五月，红一方面军主力开始西征，经两个多月作战，占领定边、环县等地，开辟了纵横二百余公里的新区，为策应红军二、四方面军北上创造了条件〕，为什么要抽调大家来学习。罗荣桓讲了话，他说：中央估计，形势很快会有新的发展，要准备一批干部以迎接民族解放新形势的到来。我们这些人都是党在战争环境中培养锻炼出来的，在形势发展以后要担负更加重要的任务。可是，我们除了有一些战斗经验之外，脑子里是空的，缺乏理论。在新形势下，我们每个同志都可能要独当一面。我们除了已有的经验外，更重要的是要掌握马列主义理论和党的方针、政策，比如统一战线政策。现在前方战事很紧张，中央下了这么大决心抽这么多人来学习，我们要很好领会中央的意图，刻苦努力学习，不要辜负党和人民的期望。
据统计，这些学员平均每人有八年以上的斗争历史，经历过无数次的战斗，平均每人负伤三次。其中不少人是在蒋介石那里挂了号的鼎鼎大名的人物。蒋介石曾多次悬赏要取这些人的首级，其赏格加起来有二百万元之巨。这些学员的经历如果写出来，每人都有一本富有传奇色彩的故事。他们都有着丰富的实践经验，而迫切需要在马列主义的指导下，加以总结，使之上升为理性认识，用以指导今后的实践。
党中央对这批学员的学习十分重视，派来的教员阵容之强可以说是空前的。毛泽东讲授中国革命战略问题，张闻天讲授中国革命问题，秦邦宪讲授哲学，凯丰和吴亮平讲授政治经济学，李德讲授战术学，徐特立讲授新文字……
在教员中最受欢迎的自然是毛泽东。有着丰富斗争经验的学员对于毛泽东从中国革命实践中总结出来的、将马列主义普遍真理和中国革命实践相结合的思想接受得快，领会得深。当时，毛泽东培育了整整一代改造中国的革命战士，红大一科的学员就是其中的佼佼者。
教员有了，可没有教材，要现编讲义。印讲义没有纸，只好将废旧的文件乃至敌人从飞机上撒下来的红绿传单翻过来印。纸的背面不光滑，印得很不清楚，但其内容质量有的却非常之高。毛泽东经典性的军事和哲学著作《中国革命战争的战略问题》就是其中之陕甘边区地瘠民贫，又长期遭受国民党封锁，党中央当时的财政经济状况十分拮据，可对红大学员的生活却尽量予以照顾。学员们平时吃的是小米子、干豆角，一个星期可以吃一次羊肉汤，偶尔还可以吃上一顿养麦面饸饹。
学员们每三到五人住一孔石窑洞，既是宿舍，又是学习室。上课则集中到一孔大窑洞里。砖垛是凳子，膝盖就是桌子。晚间学习，每三天发一支蜡烛，不够用，讨论时便吹掉蜡烛，摸黑谈。到后来蜡烛也没有了，又改用胡麻油灯，没有灯草便捻一个纸捻来代替。
在这艰苦的环境中，罗荣桓领导着大家在石窑洞中潜心读书。罗荣桓从少年时代便是一个读书迷。参加革命以来，戎马倥偬，一直没有机会静下心来系统地读书。现在到了红大，这么难得的学习机会他岂能轻易放过？除了规定的课程外，他又找来几本马列主义著作，一有空便孜孜不倦地读起来。在他的带动和影响下，在一科同学中很快形成读书的热潮。
开学一个多月了，罗荣桓发现同学们整天读书，体质有所下降。为了使大家能保持身体健康，以利于长期坚持学习并准备投身到新的战斗中去，罗荣桓又一次召集支部大会，规定晚饭后的自由活动时间一律不准读书，要开展一些文娱体育活动。可在这山沟沟里又能干什么呢？罗荣桓自己并不喜欢跳跳蹦蹦，但却为组织同志们的文体活动开动着脑筋。他进了保安城，从部队里要来一只用羊皮缝制的土篮球，然后把张爱萍、莫文骅、贺晋年、赵尔陆等人找去，商量组织打球的事。同志们提出，没有篮球架、球筐和球场。罗荣桓说：“这好办。没有篮球架，埋四根柱子，钉几块木板；没有球筐，找两个桶箍；没有球场，自己动手平。”
打球活动开展起来以后，罗荣桓又将张爱萍、莫文骅、童小鹏、彭加仑等人组织起来演戏。
罗荣桓一面抓学习，一面抓学员的文化、物质生活，使一科达到了毛泽东提出的团结、紧张、严肃、活泼的要求，为后来的抗日军政大学优良校风的形成打下了一个良好的基础。
一九三七年一月，罗荣桓随党中央迁往西安事变后被红军和平接管的延安，就任红军后方政治部主任。这时，后方政治部主管着军委直属机关、学校、工厂和陕北军事部①〔相当于省军区〕、红二十六军、红二十七军以及独立师的政治工作。后方政治部管的单位虽多，可编制只有三十多人，当时的中心工作是对部队进行抗日民族统一战线的教育，批判张国焘退却逃跑、军阀主义的错误。罗荣桓经常带领巡视员、干事深入到各个单位了解情况，进行指导。他同时还兼红大二期的课，他讲授的中国革命史和红军政治工作，通俗易懂，深入浅出，深受学员欢迎。
这一时期，内战已基本停止，延安相对地比较平静，各个机关都相继实行星期天休息的制度。分布在各个单位的罗荣桓的战友罗瑞卿、肖劲光、张爱萍、冯文彬、莫文骅、许建国等人，每逢假日，常常联袂来到驻扎在延安师范旧址的后方政治部找罗荣桓。他们或是围着火炉摆龙门阵，或是到延河边散步。
这些干部此时都已三十岁左右，战争已推迟了他们的恋爱、婚姻。当时，在延安的中国人民抗日军政大学和中共中央党校都有一些未婚的女同志，她们很自然地成为未婚的男同志们追求的目标。一些同志陆续办了自己的“终身大事”。
春节期间，许建国和在党校学习的原在四方面军工作的刘桂兰结了婚。许建国和刘桂兰介绍刘的同学林月琴同罗荣桓相识。
林月琴是安徽金寨县南溪街人，比罗荣桓小十二岁，家庭成份是小商人，一九二九年入团，一九三○年参军。一九三二年，张国焘推行“左”倾的土地政策，她因家庭成份被错划为地主，受株连被送到劳改队。当四方面军向河南、陕西转移时，林月琴和其他几位女同志被遣散。可她们仍然自动紧紧跟随着红军队伍。有的指挥员称她们为“跑反队”，嫌她们跟在队伍后面累赘，叫她们回去。可是用棍子赶也赶不走。四方面军转移到川陕边地区，从鄂豫皖出来的同志又都成了骨干，林月琴担任了妇女工兵营长。一、四方面军会合后，调到粮食局，经局长何长工批准恢复了团的组织生活。到达陕北后，转为中共正式党员。
罗荣桓又通过他的老战友何长工了解到，在四方面军转战川陕、三过草地时，林月琴带领着一批童养媳和地主的丫环出身的女战士抬担架、运送粮食弹药、缝制军衣……什么活都干，养成了忠实积极、吃苦耐劳、艰苦朴素、严守纪律的作风。能有这样的女同志作为终身伴侣，罗荣桓感到十分欣慰。
五月间，延安周围的崖畔上，山丹丹开花了。在这大好的春光里，经组织同意，罗荣桓准备办喜事了。林月琴利用一个星期天把罗荣桓的狗皮褥子拿出来翻晒，又将他那床毯子用碱水好生地洗了一洗。这就是他们两人仅有的铺盖。两张铺板一拼，这就是床，再加上老乡家的一张黑色的桌子、一把老式的木椅和一个脸盆，新房里也就别无他物了。
一九三七年五月十六日，党的全国代表会议胜利闭幕了。这一天又正好是星期天，于是被定为大喜的日子。战友们早早都起来帮着张罗。远在西安的老战友宋裕和给捎来了半袋洋面。罗荣桓请伙房给擀面条。炊事员们在院子里安了锅灶、支起了案板。有的在烧水、有的在揉面，忙个不停。这时，警卫员向罗荣桓报告，有一位客人到了。罗荣桓出来一看，原来是红二十九军政委甘渭汉。八军团编散后，两人就不在一起。这次甘从定边赶到延安参加党的全国代表会议，会后便来看望老首长。两人兴奋地握手问候。甘渭汉看到炊事员们正在院内忙碌着，禁不住奇怪地问道：
“今天又不是过节，和这么多面干什么？”
罗荣桓高兴地说：“下面条，欢迎你！”
甘渭汉诧异地问道：“你怎么知道我今天要来呀？”
罗荣桓笑眯眯地说：“我有情报嘛！”
甘渭汉怀疑地摇摇头。他进屋一看，房子打扫得干干净净，两块铺板摆成很宽的床铺，上面铺的毯子刚刚拆洗过。甘渭汉按照老习惯吩咐警卫员去把自己的马褡子搬到屋里来。
警卫员扛着马褡子，刚到门口，罗荣桓指着隔壁一间房子对他说：“放到那边去，打扫一下，搭个门板。”
“怎么？”甘渭汉心想，罗主任可有点变了。他有点纳闷地问道：“不让我跟你住在一起啊？”
罗荣桓笑着说：“隔壁不是蛮好嘛！”
“好久不见了，有些工作上的问题，正要向你汇报，住在一起好谈啊！”
“有话明天再说。马上就要开饭了，面条管饱。”
“咦？”甘渭汉还摸不着头脑。谭政、张爱萍、冯文彬、许建国等推门进来，听了他们的对话，大家哈哈大笑。甘渭汉这才恍然大悟，指着罗荣桓说。“哦，是这么回事啊！”
罗荣桓佯装生气地对他说：“小孩子，不要多嘴！”
当晚，政治部的所有人员，从部长、干事到警卫员、马夫和全体来宾都吃了罗主任的喜面。面条里尽管油很少，只放了点白菜、萝卜，但大家仍然感到香喷喷的。
婚礼尽管简单，气氛却非常热烈。新房里传出了阵阵笑声。同志们纷纷祝贺新郎和新娘并肩携手，迎接伟大的抗日战争的来临，为民族解放，为中国革命的胜利贡献自己的青春。
新婚的第二天，罗荣桓便投入了紧张的工作。一上班，他便将部长们找来开会，布置传达、贯彻党的全国代表会议精神。要求各单位认真组织学习毛泽东在会上所作的报告《中国共产党在抗日时期的任务》和结论《为争取千百万群众进入抗日民族统一战线而斗争》。罗荣桓要求认真学习党的方针政策，注意解决在停止打土豪和没收地主土地以后干部、战士中存在的思想问题。同时，他特别强调，学习中要紧紧掌握无产阶级领导权这一中心环节，既要讲联合抗日，又要保持我党我军的独立性；既要反对关门主义，又要坚定无产阶级立场，防止重犯陈独秀右倾投降主义错误。