南昌起义的成功，使国民党反共势力大为惊恐。但南昌不宜久留，因为赵义军处在朱培德、张发奎部队的四面包围中。
面对如此不利形势，前敌委员会决定：起义军立即按中央原定计划撤出南昌，南下广东，实行土地革命，重建革命根据地，再来一次北伐，以统一全国。南征的具体目标是广东的东江流域和潮汕地区。因为那里的农民运动正在蓬勃发展，共产党在那里有较好的群众基矗而且，占领了汕头就有了出海口，可以争取到国际的援助。
参加起义的兵力约二万二千人。①起义成功后，前委根据中共中央的决定，以“中国国民党革命委员会”的名义来号召革命。起义部队仍沿用国民革命军第二方面军的番号，由贺龙兼代总指挥，叶挺兼代前敌总指挥，下辖第十一军、第二十军、第九军。第九军原是在江西的滇军的番号。滇军参加起义的兵力不多，只有军官教育团的三个连。滇军中有一个师长叫韦杵，那时是国民党左派。起义前朱德曾同他交谈过国是，韦杵抱着同情的态度。朱德建议由韦件担任第九军军长，自己任副军长。②起义的第二天，革命委员会根据朱德的建议，作出任命。③不料，韦杵在起义前夕因病赴武汉治疗，不在军内。八月三日起义军撤离南昌时，又改任朱德为第九军军长。④他根据前委指示，一面着手组建第九军的指挥机构，一面整编参加起义的军官教育团，并吸收一部分铁路工人和青年学生，组成第九军教育团。
起义前夕，朱德曾分别写信给他在滇军中的老同学和老同事，包括：驻在韶关的第十六军军长范石生、驻九江的第九军军长金汉鼎、驻吉安的第十九师师长杨池生、驻临川的第二十六师师长杨如轩，晓以革命大义，劝他们弃暗投明，一起南下广东。⑤但他们或态度暧昧，或公开反对。起义军南下的前夕，朱德又派人给杨如轩送去一信：“我们最近在南昌开会，共推宋庆龄领导，揭起反对独夫民贼蒋介石的大旗。现决定去广州开辟新的革命策源地。贺龙、叶挺走一路，弟与兄走一路。兄穿须须销，弟拿大旗。时间紧迫，盼即日答复。”⑥然而，杨如轩仍顾虑重重，一怕反不成被杀头；二怕朱德吃掉他。所以，没有回信，只是说：“请转告玉阶兄，望他多保重，我自有主见。”匆匆支走了送信的客人。
八月三日上午，起义军开始撤离南昌。朱德担负了一项重要任务：被任命为先遣司令。⑦他带着第九军教育团作为先遣队，比第十一军二十四师、二十五师早两天踏上南下的征途。
临川，旧称抚州，距南昌一百九十里，是起义军南下时经过的第一个重要城市。从南昌到临川，一路上没有遇到敌军的抵抗。先遣队的主要任务就是向沿途群众作宣传，筹措粮草和安排宿营。朱德说：“我从自南昌出发，就走在前头，做政治工作，宣传工作，找寻粮食，和我在一起的有彭湃、恽代英、郭沫若，我们只带了两连人，有一些学生，一路宣传一路走，又是政治队，又是先遣支队，又是粮秣队。”⑧驻临川的杨如轩得知起义军要路过那里时，考虑到同朱德多年同窗和袍泽的关系，又“慑于革命声威，同时为了保全自己的实力”，便把部队撤到城外，悄悄地给起义军让出一条南下的大路。⑨八月六日，朱德率起义军先遣队到达临川，全城各界群众集结在大道两旁欢迎起义军，还为部队准备了凉篷和茶水。
八月的江西，一向酷热难忍。起义军各部队因暑天行军，途中减员较多，在临川休整了几天。部队进城后，中共临川县委召开党团员活动分子会，号召党团员、工人纠察队员和农民自卫军参加起义军。临川中学有三百多师生报名参加了第九军宣传队。还有工人纠察队和农民自卫军数百人，在李井泉、萧志戎带领下，也参加了起义军的行列。随军南征的这支地方武装，在壬田战斗后编入了第九军。
起义军在临川经过将近一周的休整，于八月十二日告别临川，挥戈南进，经过宜黄、广昌，直指瑞金、会昌。这时，蒋介石的嫡系部队钱大钧部两个师加两个团共九千人，已从赣州调往瑞金、会昌一带，准备拦击起义军。他的两个前哨团驻在瑞金以北三十里的王田市。桂军黄绍竑部十个团也正赶来增援。面对这样的局势，起义军指挥部决定将第二十军的第三师拨归负责先遣任务的朱德指挥。⑩八月二十五日，朱德率第二十军第三师的一个营，作为前卫营南下，在壬田同钱大钧部两个团开始激战，坚持到贺龙率第二十军主力赶到，在第二天清晨将钱大钧部的这两个团击溃，乘胜进占瑞金。
在瑞金，缴获了敌军许多文件，得知钱大钧、黄绍竑两部集结的计划。
起义军指挥部为了避免在继续南下时遭到强大敌人从背后袭击，决定乘黄绍竑部尚未赶到、敌人兵力尚未集中之时，先击破会昌的钱大钧部，再行南下。
打会昌，是起义军南下途中第一场恶战。在这场战斗中，叶挺指挥的第十一军二十四师和二十五师为右纵队，攻击会昌西北的山头阵地；归朱德指挥的第二十军第三师为左纵队，向会昌东北高地进攻；贺龙率第二十军的第一师和第二师为总预备队，驻守瑞金附近，以策应和支援各方。
朱德接受任务后，首先命令第二十军第三师教导团团长侯镜如，挑选几十人组成敢死队，追击正向会昌退却的钱大钧部。朱德向大家动员说：“你们都是不怕死的中华健儿。可是，今天我要求你们一反往常猛打猛冲的常规，只同敌人打心理战。你们要分作数股，分散活动，跟在敌人后面或插到敌人两翼，向敌人打冷枪。要搅得敌人吃不下，睡不着，这就是你们的任务。”
(11)小分队遵照朱德的指示，一路上利用有利地形，隐蔽自己，不断向钱大钧部打冷枪，直把他们追到离会昌城只有四十里的地方才宿营。钱部被搞得精疲力荆五十多年后，侯镜如回忆这一段战斗经历时说：“会昌战斗中，朱总指挥我们和钱大钧作战，就采用了游击战法。敌人退，我们跟着进；敌人驻下了，我们就从四面八方打冷枪，扰乱敌人，不让他们休息，这就是‘敌退我迫，敌驻我拢，。”(12)三十日凌晨，进攻会昌的战斗打响了。拨归朱德指挥的第二十军第三师，由教导团和第六团组成。(13)那时，第六团还未赶到，朱德便和第三师师长周逸群、党代表徐特立带着教导团出发了。不久，就遇到钱大钧的四个团。
敌人凭借有利地形进行顽抗，起义军反复冲杀，战斗形成拉锯状态。等到第六团赶到，又展开更猛烈的进攻。但由于第十一军第二十五师在夜间走错了路，城西的主攻方向一时未能打响。守军的注意力全部被吸引到原来作为助攻的东北方向，便集中大部兵力向二十军第三师猛扑。后来，第二十五师赶到，叶挺指挥第十一军发起总攻，激战到下午四时，钱大钧部全线崩溃。起义军一鼓作气，追击三十里。钱大钧部伤亡、被俘和逃散的达六千人，只余下三千人退走。这是起义军南征途中取得的一次大胜，但自身伤亡也达一千人，在全军人数中占了不小的比重。回师瑞金时，朱德指挥的第三师仍归还第二十军建制。。
会昌战斗结束后，前委讨论继续南下的路线问题。起义军原定计划是取道寻邹直下东江。这时，寻邹至东江一线已有对方重兵把守，而福建却是对方兵力空虚之地，进军阻力较校加上在王田、会昌战斗后，起义军增加了许多伤员，取道寻邬，都是山路，运输困难，而经长汀南下，可以用船只运输伤员。所以，变更了原来的计划，改走福建长廷上杭，沿汀江南下东江地区。
起义军越过闽赣边境的武夷山后，在九月五日开进长汀，对夺取东江的计划又进行了详细的讨论。当时，前委内部有两种意见：周恩来和叶挺“主张以主力军由三河坝经松口取梅县，再经兴宁、五华取惠州，以小部分军力（至多两团）趋潮汕”。(14)他们认为潮汕空虚，可以不战而得，如果主力先取潮汕再回攻惠州，过于迂缓，敌人有集中兵力攻击我军之可能。再一种意见。“主张以主力取潮汕，留一部分兵力于三河监视梅县之敌，再经揭阳出兴宁、五华取惠州。”(15)由于后一种意见得到共产国际军事顾问的支持，多数同志也渴望早日攻占潮汕，能得到休息，又能在沿海口岸得到国际的援助。所以，会上通过了后一种意见。这就形成了三河坝分兵的决策，使原来兵力已日益不足的起义军力量更加分散了。
三河坝分兵计划大体是：由周恩来、贺龙、叶挺、刘怕承等率第二十军和第十一军的第二十四师，从处在粤闽边境的大埔乘船，经韩江顺流而下，直奔潮汕；朱德率领第十一军第二十五师和第九军教育团，共约四千人留守三河坝，以防敌军从梅县抄袭主力部队进军潮汕的后路。
三河坝在广东大埔县的南面，是一个位于三江口上的大镇子。从北面飞流直下的汀江，同从西南面奔腾而来的梅江在这里汇合后，向南泄入水深流急的韩江。在三河坝对岸有一座八十多米高的笔枝尾山。它形如鱼尾，山势险要，松林茂密，群峰叠嶂，可攻可守，大有一山镇三江之势，是兵家必争之地。
第二十五师是以叶挺独立团扩编而成的。无论部队的战斗力还是党的力量，在起义军中都是最强的劲旅之一。划归朱德指挥后，十月一日，朱德便带着第二十五师师长周上第等，仔细地观察了三河坝的地形。朱德认为三河坝位于三江会合处，发生战斗时，第二十五师如果留在三河坝必将背水作战，这是兵家历来的大忌，于是，决定把部队转移到三河坝对岸的东文部、笔枝尾山、龙虎坑、下村一带布防，连夜构筑工事。师指挥部设在龙虎坑东边高地。朱德、周士第、李硕勋（第二十五师党代表）等都在这个指挥所，准备随时迎击敌人。
当年参加三河坝战斗的第七十五团团长廖运周，对当时的情景曾有一段回忆：“第二天午后，朱德在河滩竹林旁边，召集全师官兵讲话。他和士兵一样，背着小斗笠，穿着短裤和草鞋，给人一种非常温厚和朴实的感觉。朱德同志动员我们：要坚守三河坝，牵制敌人兵力，为向海陆丰进军的我军创造有利条件。（当时我军已占领了潮汕）同时他指出：我军绝大部分都是农民出身，革命的军队必须与农民结合，才能取得革命胜利。他号召我们要发扬会昌歼敌的精神，保持铁军的荣誉，战胜来犯敌人。”(16)朱德还仔细他讲解了如何构筑工事，如何防守阵地；对渡江的敌人，什么时候打，怎样打最为有利。听讲的军官对朱德坚定的胜利信心和渊博的军事知识十分敬佩。
布防方毕，钱大钧就带着经过补充的三个师十个团约两万人扑来。他们用二十多条小船，在半夜顶着浓重的夜幕，开始偷渡。当木船行到江中，早在滩头阵地上严阵以待的起义军战士遵照朱德“半渡而击”(17)的指示，一齐开火。钱部的大部分船只被击沉，剩下的几条逃回了对岸。
第二天，钱大钧从松口一带抢来了十多条民船，趁着浓雾抢渡韩江，又遭到起义军迎头痛击，仍没有渡过江来。
十月三日拂晓，韩江江面上浓雾沉沉。钱大钧抓住这个难得的机会，利用浓雾的掩护，调集大批船只，在密集炮火的掩护下，分多路强渡韩江。一部分强渡成功后，抢占了第七十五团防守的滩头阵地，双方反复争夺，战斗一直僵持到午后。
下午三时，钱大钧部又调集许多迫击炮和机枪作掩护，拼命攻击。起义军战士虽经昼夜激战，又已粮绝，仍坚持顽强拼搏。这时，另一股敌军强渡过江后，抢占了梅子岭一带，对起义军形成两面夹击，形势更为不利。
当夜幕落下时，起义军已陷入对方的重兵包围中。朱德认为经过三天三夜的顽强阻击，大量地杀伤敌人，掩护主力进军潮汕的任务已经完成。起义军在激战中伤亡也很大，为了保存实力，必须立即撤出战斗，去追赶主力。
于是下令留下第二十五师七十五团第三营作掩护，其余部队交替掩护，迅速转移。
朱德和周士第率领第二十五师约两千人，在十月六日清晨撤出三河坝后，当夜兼程去追赶主力部队。周士第后来回忆道：“三河坝战斗进行的时候，我们还不知潮汕已经失守，起义军主力已经失败。我们当时认为守住这个地区对主力作战有利，因此坚持与兵力超过我们许多倍的敌人作战。激战三天三夜后，东文部、笔枝尾山都被敌人占领，我们已处于绝对优势敌人的三面包围之中，于是就决定退出战斗，拟经百侯圩、饶平到潮汕与主力军会合。”(18)可是，一个意外的沉重打击却突然来到。当晚，他们抵达饶平以北的茂芝。第二天情晨，遇见第二十军教导团参谋长周邦采带领的从潮安退下来的起义军官兵二百多人（粟裕就在这支队伍内），才得知第十二军二十四师和第二十军已在潮汕失败。主力失败的消息如同一盆冷水浇在大家头上。许多人心情沉重，思想混乱，一些指挥员也处于不知所措的境地。
这真是一个异常严峻的时刻。那时，“这支部队的处境极端险恶。敌人的大军压境，麇集于潮汕和三河坝地区的国民党反动军队有五个多师，共约四万人左右，其势汹汹，企图完全消灭我军，扑灭革命火种。从内部来说，我们的部队刚从各方面会合起来，在突然遭到失败的打击之下，不论在组织上和思想上都相当混乱。”(19)他们既孤立无援，又同起义军的领导机构前敌委员会失去联系，一切只能由朱德独立负责，当机立断地作出决断。“虽然下面的部队绝大部分都不是他的老部队，领导起来有因难，但在此千钧一发之际，他分析了当前的敌我情况，作出了正确的决策。”(20)朱德同几个主要领导干部研究后，决定部队必须尽快离开这里，甩开敌人重兵，摆脱险恶的处境，否则将有全军覆没的危险。七日上午在茂芝的全德学校召开会议，参加会议的有朱德、周士第、陈毅等二十多人。有人回忆：会上，朱德介绍了起义军在潮汕失利的情况后，断然决然他说：“我是共产党员，我有责任把‘八一’南昌起义的革命种子保留下来，有决心担起革命重担，有信心把这支革命队伍带出敌人的包围圈，和同志们团结一起，一直把革命干到底！”(21)经过热烈讨论，他把大家的意见归纳为四条：“第一，我们和上级的联系已断，要尽快找到上级党取得联系，以便取得上级的指示；第二，我们要保存这支军队，作为革命种子，就要找到一块既隐蔽又有群众基础的立足点。湘粤赣边界地区，是敌人兵力薄弱的地方，是个三不管的地带，这一带农民运动搞得早，支援北伐最得力，我们应当以此为立足点；第三，据最新情报看，敌人已从南、西、北方面向我靠拢，我们要从东北方向穿插出去。现在敌强我弱，我军又是孤立无援，所存弹药不多。行动上要隐蔽，沿边界避敌穿插行进；第四，要继续对全军做艰苦的政治思想工作，要发挥党团员、干部的先锋模范作用，坚决扭转对革命失却信心的混乱思想，安定军心，更要防止一些失败主义者自由离队，拖枪逃跑，甚至叛变投敌的严重事故发生。会议否决了少数同志关于解散队伍的提议”。(22)会议上的军事决议，简单他说，就是：隐蔽北上，穿山西进，直奔湘南。(23)这一下，就为这支处于困境而陷入混乱的队伍指明了出路。
在向赣南进军途中，朱德、陈毅为了巩固这支起义军余部，保存革命火种，适时地进行了三次整顿。这就是天心圩整顿、大余整编、上堡整训。人们统称它为“赣南三整”。
朱德率领这支部队离开茂芝后，一路急行军，经麒麟岭，过闽粤交界的柏嵩关，进入福建，再沿闽粤边界北上。十月十六日到福建武平时，部队还有两千五百余人。这个行动很快就被敌人发觉了。他们立刻派钱大钧部一个师紧紧尾追。十六日，起义军击退了追敌，但本身又受到很大伤亡和散失，留下一千五百多人。他们立刻向西北转进。当到达闽赣边界的石经岭附近的隘口时，朱德“亲自带领几个警卫人员，从长满灌木的悬崖陡壁攀登而上，出其不意地在敌人侧后发起进攻”，抢占了反动民团据守的隘口，带领部队进入赣南山区。粟裕回忆道：“当大家怀着胜利的喜悦，通过由朱德亲自杀开的这条血路时，只见他威武地站在一块断壁上，手里掂着驳壳枪，正指挥后续部队通过隘口。”“经过这次石经岭隘口的战斗，我才发觉，朱德同志不仅是一位宽宏大度、慈祥和蔼的长者，而且是一位英勇善战、身先士卒的勇将。”(24)十月下旬，起义军余部到达江西安远县天心圩。
当时，这支部队的处境依然十分困难：四面受敌，孤立无援；虽然摆脱了敌军重兵的尾追，但仍经常受到地主武装和土匪的袭击，不能不在山谷的小道上穿行，在山林中宿营；同上级党组织还没有取得联系；官兵饥寒交迫，疾病流行，得不到供应和治疗；部队思想一片混乱，许多经不起考验的人，甚至“师长、团长均皆逃走，各营、连长亦多离开”。(25)“每个人都考虑着同样的问题：现在部队失败了，到处都是敌人，我们这一支孤军，一无给养；二无援兵，应当怎样办？该走到哪里去？”(26)不少官兵相继离队，有的甚至带着一个排、一个连公开离队，有的还在继续散布失败情绪，要求解散部队。部队有顷刻瓦解之势，南昌起义留下的这点革命火种，有立即熄灭的可能。
在这样的危难关头，朱德沉着镇定地“在天心圩进行了初步整顿，召集军人大会，说明革命形势和任务，指出最后胜利一定是我们的，以鼓舞情绪和坚定信心。”(27)在这次大会上，朱德发表了一篇激动人心的讲话，他说：“大家知道，大革命是失败了，我们的起义军也失败了！但是我们还要革命的。同志们，要革命的跟我走；不革命的可以回家！不勉强！”“但是，大家要把革命的前途看清楚。一九二七年的中国革命，好比一九○五年的俄国革命。俄国在一九○五年革命失败后，是黑暗的，但黑暗是暂时的，到了一九一七年，革命终于成功了。中国革命现在失败了，也是黑暗的，但黑暗也是暂时的。中国也会有个‘一九一七年’的。只要保存实力，革命就有办法。
你们应该相信这一点。”(28)粟裕回忆起这段历史时，曾说：“朱德同志这些铿锵有力、掷地有声的话语，精辟地分析了当时的政治形势，展示了革命必然要继续向前发展的光明前景，令人信服，感人至深。陈毅同志对之作了极高的评价。他曾经说，朱德同志的这次讲话，是讲了两条政治纲领，我们对部队进行宣传教育，就是依据这个纲领作些发挥工作。”(29)陈毅所说的两条政治纲领，就是指：坚信共产主义必然胜利；革命必须自愿。
朱德的讲话产生了强大的感染力，使大家在黑暗中看到了光明，在困难中认清了方向，受到鼓舞，增加了信心，陈毅说：“人们听了朱总司令的话，也逐渐坚定，看到光明前途了，当时如果没有总司令领导，这个部队肯定他说，是会垮定的。”“朱总司令在最黑暗的日子里，在群众情绪低到零度，灰心丧气的时候，指出了光明的前途，增加群众的革命信念，这是总司令的伟大，没有马列主义的远见，是不可能的。”(30)三十年后，解放军政治学院的副教育长邓逸凡曾问朱德：“还听说三河坝失败后，革命队伍内部发生了动摇和混乱现象，当时您号召说，谁愿革命就跟我走。”朱德并不把这些归功于自己，回答说，“有这样一回事。你们研究这些问题的时候，应该把它看作是集体的事业，看作是党的领导。当时我所讲的，也并不是我个人独到的见解，而是革命的经验。在当时的情况下，需要用马克思列宁主义来分析革命形势，指出革命是有前途，有出路的，只有这样，才能坚定大家的革命意志。部队要巩固，就要经常在部队中进行马克思主义的政治思想工作，最基本的是要依靠党的组织。那时党员比较多，把党的组织加以整顿以后，又发展了一批党员，就依靠他们去巩固队伍。”(31)不论行军还是打仗，朱德一直和士兵们一起，一样穿灰色土布军装，一样吃大锅饭。行军时，他有马不骑，和士兵一样肩上扛着步枪，背着背包，有时还搀扶着伤员、病号。他“见人就谈，谈革命前途，谈继续革命的方法。”
“对于中国今后的革命战争问题，朱总司令回答说：‘农民的游击战争是主要形式。’对于反革命整天跟在后面怎么办的问题，朱总司令回答说：‘他总有一天不追的，因为中国军阀的军阀性、买办性、封建性，他们之间不能协调，他们自己打起来，就不会追我们了，我们就可以发展了。’”(32)他的讲话，士兵很爱听。他是很坚定的，使大家受到很大鼓舞，也受到大家的衷心爱戴。“这时候，朱德同志才成为这支部队的领袖。朱德同志在南昌暴动的时候，地位并不重要，也没人听他的话，大家只不过尊重他是个老同志罢了。”(33)在天心圩整顿中，一些意志不坚定的人离队了，大约走了三百多名军官和士兵。(34)但留下来的却更加坚定了。人数虽然减少，但都是革命的精华，为人民军队保存下一批重要的骨干力量。经过天心圩的整顿和以后行军途中的思想政治工作，部队的情绪有了转变，开小差的减少了。
天心圩整顿，是起义军余部转战途中的一个转折点，是“赣南三整”的开端。这次整顿的主要内容，是进行思想教育，统一大家的认识，振奋革命精神，扭转了部队中思想混乱、人心涣散的局面。朱德在这支部队生死攸关、需要作出何去何从的关键时刻，以大无畏的英雄气概，挺身而出，担当起历史赋予的重任，把部队带出绝境，并且博得了全军对他的巨大信任。
大余整编是在十月底进行的，重要内容是进行组织整顿，先后做了两件事：一是整顿党团组织，二是整编部队。
粟裕回忆这次整编的历史背景时说：“一九二七年十月底，我们的队伍从信丰来到了赣粤边境的大余地区。正如朱德同志所预料，国民党新军阀各派之间矛盾重重。这时候，继宁汉之战后，又爆发了粤系、桂系、湘系军阀的混战。他们忙于互相争夺，不得不暂时放松了对起义军的追击。朱德、陈毅同志便利用这个间隙，领导部队进行了一次整顿和整编。”(35)怎样进行整顿和整编？朱德回忆说：“于十月底到了大余，对部队进行整编。首先，整顿党、团组织，成立党支部。”(36)粟裕说：“这一次整顿，重点是加强党对部队的领导。首先，由陈毅同志主持，整顿了党、团组织。
南昌起义，虽然开始了我们党独立领导军队的新时期，然而，当时这支部队只是在上层领导机关和军官中有少数党员，在士兵中，除了像我所在的这个排，因为前身是二十四师的教导队，它是由‘马日事变，后从两湖逃出来的部分学生和工人干部组成的，全是党、团员外，一般是没有党、团员的。因此党的工作不能深入到基层和士兵中去。经过这次整顿，重新登记了党、团员，调整了党、团组织，成立了党支部，记得当时部队还有共产党员五六十人，党员人数不到群众人数的十分之一。那时候我们还不懂得应当把支部建在连上，但是实行了把一部分党、团员分配到各个连队去，从而加强了党在基层的工作，这是对于这支部队建设有重大意义的一个措施。”(37)在整顿党团组织中，还选派了一些优秀党员去基层担任指导员，从而加强了党对部队的全面领导。
在整顿党、团组织的同时，还整编了部队，使它更有利于指挥和作战。
当时，这支由不同来源组成的部队，已经七零八落，不成建制。原来的军、师都成了空架子，已不能适应新的情况。在整编中，取消了“军、师、团”建制，从实际出发，把部队改编为一个纵队，共组成六个步兵连和一个迫击炮连、一个重机关枪连。部队“采用‘国民革命军第五纵队’番号，司令是朱德同志，对外化名王楷（因朱德同志的号叫玉阶而化此名），指导员是陈毅同志，参谋长是王尔琢同志。”(38)部队经过这次整编，面貌焕然一新。大家虽然衣服褴褛，面黄肌瘦，但精神抖擞，斗志昂扬。粟裕说：“从此，部队的组织状况和精神面貌都大为改观，团结成了一个比较巩固的战斗集体。这时全团虽然只有七八百人，比起饶平出发时只剩下了三分之一，但是就整体来说，这支部队经过严峻的锻炼和考验，质量更提高了，是大浪淘沙保留下来的精华，已成为不灭的革命火种。这次大余整编，是我们这支部队改造的重要开端。”(39)上堡整训，是十一月初起义军到了湘、粤赣三省交界的山区江西崇义县西南的上堡进行的。当时，湘、粤军阀之间重新开战，无暇顾及起义军余部。
朱德抓住这一有利时机，又一次进行了整训。
上堡整训，“首先是整顿纪律，那时就规定了募款和缴获的物资要全部归公。”(40)在这以前，朱德、陈毅一直很重视部队的纪律。转战途中，在信丰发生过少数不良分子鼓动战士抢当铺的事情。陈毅抓住这件事对部队进行教育。他气愤他说：“这哪里像革命军队，简直像土匪一样了！”并告诫大家：“我们是共产党的队伍，没有纪律是不能生存的。”(41)到上堡后，部队的任务不仅是行军、打仗，而且还深入农村发动群众，打土豪，分财物，加强纪律的重要性就显得更加突出了。所以，部队明确规定募款和缴获全部归公，只有没收委员会才有权没收财物，并对官兵进行了自觉遵守纪律的教育。
上堡整训，“其次是军事训练”。(42)那时，崇义，上堡一带正是国民党军第二十六师师长杨如轩的防区。由于历史上的特殊关系，朱德又给杨如轩写去一情，希望杨如轩“沓起眼皮，把上犹借他练兵三个月，他保证练一团人，就可以打败蒋介石。”(43)杨如轩虽未作正面回答，但也“沓起眼皮”，没有去骚扰起义军。在整训中，起义军“每隔一两天上一次大课，小课则保持天天上。为了适应客观要求，当时已提出了新战术问题，主要是怎样从打大仗转变为打小仗，也就是打游击战的问题，以及把一线式战斗队形改为‘人’字战斗队形等。”(44)起义军的指挥员多数是原来叶挺独立团的，不少是黄埔军校的毕业生。
他们打仗所习惯的是正规战那一套。起义军中的战士，多数参加过北伐战争，打的也是正规战，南昌起义后的一些战斗仍是正规战。但当时的形势和任务都已发生变化，部队转移到山区去找“落脚点”，发动群众，打土豪，分田地，开始了由正规战向游击战的转变，从实践中逐渐懂得了“还可以上山打游击”，“觉得上山有出路”。这就需要学习游击战，杨至诚说：“在这里，我们按照朱德同志的指示，以上堡、文英、古亭等山区村镇为中心，开展了游击战争。部队以连排为单位分散开来，向群众作宣传，帮助群众劳动，收缴地主和土匪的武装，组织群众分粮，分财物。这里的群众多少年来深受地主、土匪的压迫，又有大革命时期农民运动的影响，一经发动，便轰轰烈烈起来了。”(45)这是起义军在战略战术方面的一个重大转变。朱德曾说：“从此以后即开始转入正确的方向——游击战的方向，不是采取过去占大城市的办法，而是实事求是，与群众结合，发动群众起义，创造革命根据地。战术也变了，有把握的仗就打，没有把握的仗就不打，不打就‘游’。方向正确，革命力量就能存在，而且还能得到发展。”(46)“赣南三整”时间很短，只有二十天左右。那时国民党新军阀内部的混战已经开始：张发奎部南下人粤后，很快同李济琚黄绍竑两部公开冲突，争夺对广东的控制权；唐生智部同南京政府之间的战争也已开始。一时都自顾不暇，没有力量再来追击起义军余部，朱德正是抓紧这个难得的间隙，使部队及时得到休息和整顿。历史证明“赣南三整”的意义重大，影响深远，在建军史上占有重要的地位，“赣南三整”开始于一九二七年十月下旬，“三湾改编”开始于一九二七年九月底。这两个重大事件，在时间上相近，在作法上类似，都取得巨大的成功，说明它们是切合大革命失败后客观形势变化实际需要的正确措施，对以后的整党整军产生了极为深远的影响。
经过了“赣南三整”，部队的状况得到了显著的改善，但仍面临着许多严重困难，特别是给养和弹药无法解决。当时，已近隆冬，起义军官兵仍然穿着单衣，有的甚至穿着短裤，打着赤脚，连草鞋都没有；无处筹措粮食，官兵常常饿肚子；缺乏医疗设备和药品，伤病员得不到治疗；部队的枪枝弹药无法补充，人也很疲乏，战斗力越来越削弱。如何克服这些困难，保存这支革命力量，就成了摆在朱德面前急待解决的重大课题。
起义军在江西崇义县上堡整训时，朱德从报上意外地看到国民革命军第十六军已从广东韶关移防到同崇义接邻的湖南郴州、汝城一带。他同陈毅商量后，便写信给第十六军军长范石生，希望同他们合作。
范石生是朱德在云南陆军讲武堂的同期同班同学。他们曾结拜为兄弟，一起秘密参加同盟会，一起参加昆明的“重九起义”，又一起在蔡锷的领导下参加护国讨袁战争。后来，范石生成为滇军的高级将领。一九二三年初，杨希闵率反对唐继尧的滇军讨伐陈炯明后，进驻广州，扩编为三个军，范石生升任第二军军长，“石龙大花桥一役，击溃陈炯明的洪兆麟部，立了战功，深得孙大元帅嘉许，明令授予上将军衔。”(47)一九二六年滇军第二军改编为国民革命军第十六军时，他仍任军长，一九二七年十月，第十六军移防到韶关和汝城一带。范石生同粤系、桂系、湘系军阀都有矛盾，而同蒋介石的矛盾更为尖锐。在范石生军中担任军官团教官的严中英回忆说：“范石生与蒋介石之间的矛盾，由来已久。一九二三年范任驻粤滇军第二军军长时，孙中山大元帅指挥东征，申讨叛逆陈炯明。当时，蒋介石任粤军许崇智的参谋长，在一次军事会议上，蒋介石即席要求发言，范石生以主席身份傲慢地问：‘你叫什么名字？，蒋答后，范又问：‘你要讲什么？，蒋谈了自己对作战的意见。范不等蒋讲完，就嘘了一声说：‘算了吧！你说得轻巧，拾根灯草！’使得蒋十分尴尬，加深了两人之间的矛盾。”(48)蒋介石报复心很重，当了国民革命军总司令后，范石生心里自然更有顾虑。所以，他需要寻找盟友，以加强自己的力量。当他得知朱德正率领南昌起义军余部转战赣南时，便几次派人秘密寻访，进行联络。
中国共产党人同范石生的统一战线关系早已建立。还在一九二六年范部改编为国民革命军第十六军时，周恩来就通过黄埔军校的政治教官云南人王懋庭（又名王德三），将在广州的云南籍共产党人赵贯一（赵薪传）、王振甲（王西平）、韦济光、夏崇先、马季唐、饶继昌、李静安、向镇弼以及广西人余少杰等派入范部，建立了党组织，组成第十六军政治部。他们分别担任秘书、科长、股长及下属部队的党代表（国民党的党代表）。(49)“四·一二”政变后，范石生对蒋介石的“清党”命令阳奉阴违，搁置不理。所以，在第十六军里一直保存着共产党的组织。朱德后来说：“南昌起义前，驻在湖南的范石生第十六军同我们党保持着统一战线关系，该军内仍然有我们党的组织，范石生也有同我们联合一起进入广东之意。南昌起义后，部队南下时，周恩来同志就给我们写了组织介绍信，以备可能同范石生部发生联系时用。”(50)朱德给范石生的信发出去后约半个月，范派人送来了复信：“春城一别，匆勿数载。兄怀救国救民大志，远渡重洋，寻求兴邦救国之道。而南昌一举，世人瞩目，弟感佩良深，今虽暂处逆境之中，然中原逐鹿，各方崛起，鹿死谁手，仍未可知。来信所论诸点，愚意可行，弟当勉为为助。兄若再起东山，则来日前途不可量矣！弟今寄人篱下，终非久计，正欲与兄共商良策，以谋自立自强。希即在驾汝城，到日唯（注：第十六军四十七师师长曾日唯）处一晤。专此恭候。”(51)朱德向陈毅介绍了范石生的情况，又分析了当时的形势，认为同范石生的合作是必要的，也是可能的。这样做，有利于隐蔽目标，积蓄力量，待机发展。朱德又向全体共产党员讲明同范石生合作的意义和目的。大家经过热烈讨论，统一了认识，同意在原建制不变、保证组织上独立、政治上自主、军事上自由的前提下同范石生合作。
十一月二十日，朱德受党组织的委托，带着教导队从崇义的上堡出发，去汝城同曾曰唯谈判。在途经汝城县壕头圩时，还有过一次惊险的遭遇：他们住在一个祠堂里，半夜间突然被土匪何其朗部包围。土匪冲进祠堂，问朱德：“你是什么人？”朱德说：“我是伙伕头。”土匪又问，“你们的司令在哪里？”朱德指着后面的房子说：“住在那边。”由于朱德穿着简朴，同士兵没有什么区别，土匪信了，就往后去。朱德从窗户里跳出，脱离了危险。
到汝城后，同曾曰唯进行了两天的谈判。在谈判中，朱德提出三个条件：“我们是共产党的队伍，党什么时候调我们走，我们就什么时候走；给我们的物资补充，完全由我们支配；我们内部组织和训练工作等，完全照我们的决定办，他不得进行干涉。”(52)最后，双方达成协议：一，同意朱德提出的部队编制、组织不变，要走随时可走的原则；二，起义军改用第十六军四十六师一四○团的番号，朱德化名王楷，任四十六师副师长兼一四○团团长（不久，范又委任朱为第十六军总参议）；三，按一个团的编制，先发一个月的薪饷，并立即发放弹药和被服。后来，一九二八年六月，杜修经给湖南省委的报告中也写道：“在受编的时候，朱德向范石生他们表示，大意：我们是共产党的军队，我们党有命令要我们怎样时，我们还是怎样，他们意承了。”(53)对这些协议，范石生是认真执行了的。朱德说：“他接济我们十万发子弹，我们的力量又增强了，他还一个月接济万把块钱、医生、西药、被单??在红军的发展上来讲，范石生是值得我们赞扬的。”(54)当时在范石生身边的严中英回忆道：“范对我说：‘这支部队现在还穿着单衣短裤，没有盖的。
天气这样冷，就得先把棉服军毯运去。’我从侧面了解，范对这部红军是按照一个团的军需物品和粮饷等予以补充的。后来朱总司令把部队带过十六军的驻地时，我看到战士们穿着新发的棉衣，在制服装备方面，与范军没有什么区别；但在精神上态度上，却与国民党的部队截然不同，尤其引起我注意的是，在队伍中分不出谁是官，谁是兵，大家说说笑笑，亲如家人，我见了感到新奇。”(55)随后，陈毅、王尔琢带着部队开到汝城西北方向的资兴。在资兴时，又从范石生那里领了五六十万发子弹。
这段时间内，朱德以第十六军总参议的名义，不时到军司令部与范石生会晤，谈笑风生。他们有时讲到过去在昆明翠湖之滨一堂相聚的岁月，有时又讲到现时中国革命的前途，处得很融洽。
朱德在党的活动分子会上讲到同范石生合作的意义时，说过：“范石生之所以与我们达成协议，实现联合，是想扩充队伍，壮大实力，同蒋介石以及其他军阀对抗。我们这样做，是为了与范部建立统一战线，以他为掩护，隐蔽目标，积蓄与发展力量，绝不是放弃原则，顺从他人，也绝不能束缚住自己的手脚，我们应该独立自主地进行活动。”大家一致拥护这一决定。
十二月间，这支部队又从资兴南下，进入粤北，移驻韶关西北三十里的犁铺头，他们这次开往广东，原来是按广东省委指示去支援广州起义。但到粤北时，广州起义已失败了，就在犁铺头进行休整。朱德找来教导大队队长李奇中，对他说：“就现在情况看来，我们像现在这样安定的机会不多，敌人总要打我们，我们总是要打仗的。可是以后打什么样的仗，仗怎么打，大家并不了解，我们要抓紧一切机会来训练部队，让他们经常学到新的作战知识才行。”在训练时，朱德自己讲课，他要求部队抛弃旧的队形，改为梯次配备的疏开队形，以减少密集队伍受到敌火力的杀伤；要求指挥员重视对敌情的搜索和侦察，不摸清敌人情况不动手；要求士兵除熟悉手中武器外，一定要做到不靠近敌人不开枪，打不中不开枪。他反复强调：“一定要让每个同志牢牢地记住，我们人少枪少，不能和敌人硬拼。我们要瞅住敌人的弱点，我们要注意避实就虚的游击战术。”(56)他们无论在驻防或行军时，照样打击当地的土豪势力，有时还处决一些民愤很大的地主恶霸。范石生听到有人向他报告，但从没有过问和制止过。
一九二八年初，蒋介石发觉南昌起义军余部隐蔽在范石生部队里，立即下令要范石生解除起义军的武装，逮捕朱德。同时，方鼎英部从湖南进入粤北，监视起义军和范石生的动向。范石生接到蒋介石的密电后，不忘旧谊，信守协议，立刻写信派秘书杨昌龄前往犁铺头，告诉朱德，劝他立刻离去，还送来一万块钱。他在给朱德的信上说：“‘孰能一之？不嗜杀人者能一之’??最后胜利是你们的，现在我是爱莫能助。”
在这万分紧急的情况下，朱德必须立即率部脱离险境。他最初准备按照广东省委的意见，去东江同广州起义的余部汇合。但部队刚到达仁化，突然发现国民党第十三军的部队正沿侦水开往仁化东面的南雄，切断了起义军前往东江的去路。朱德当机立断地决定，在收集广州起义的一部分失散人员后，折向湘南，去实现他酝酿已久的湘南起义。