1927年7月上旬，为“东征讨蒋”，中国共产党所能掌握的部队已陆续向长江下游移动，分驻江西九江及其附近地区。这些部队主要集中在张发奎统率的国民革命军第四集团军第二方面军中。这个方面军辖有第四军、第十一军、第十二军、第十三军、暂编第二十军。叶挺任第十一军副军长兼二十四师师长。第四军二十五师是以原叶挺独立团为骨干扩编而成的。贺龙任暂编第二十军军长。还有一些其他部队。在这一地区集结的共产党可以控制的武装力量约2万人左右。
7月中旬，中共中央在武汉开会作出了组织武装起义的初步决定。周恩来回军事部后连夜召集聂荣臻等人开会。他说：共产国际指示，我们党要组织一支5万人的军队，要用革命的武装反对反革命的武装。据此，结合当前的形势，中央已经决定组织武装起义。起义的大体设想已经有了，但具体行动还有待进一步确定。
周恩来指定聂荣臻、贺昌和颜昌颐组成临时性组织——前敌军委，聂荣臻为书记①，先到九江，向当地驻军中的共产党人传达中央决定，叫他们做好起义准备，等待中央命令。
组织武装起义正是聂荣臻的迫切愿望。他与贺昌、颜昌颐于第二天即乘轮船急忙赶到九江。他们要通知的第一个人是叶挺，所以到九江后就住在叶挺的司令部里。当时，因形势紧张，中央不少负责人已先后转移到九江。7月20日，谭平山、李立三、恽代英、邓中夏、叶挺等人同聂荣臻一起在九江举行会议。会上，李立三等人很急躁，主张立即动手。聂荣臻坚持做好起义的准备工作，等待中央的命令。与会者最后还是同意先向中央报告，待中央批准后再行动。
汪精卫公开叛变后，调动第三、第六、第九军等部对这一地区做出包围态势。中共中央原定要争取的第二方面军总指挥张发奎，在关键时刻投向了汪精卫。他勒令在第二方面军高级军官中的共产党员，如叶挺等人须退出军队或脱离共产党。局势万分紧迫，再不起义，就要断送这部分革命武装了。
于是，李立三等人于九江会议后不久，即向中央提出：“在军事上赶快集中南昌，运动二十军与我们一致，实行在南昌暴动，解决三、六、九军在南昌的武装。在政治上反对武汉、南京两政府，建立新的政府。”①并把这个意见向中央作了报告。接到这个报告后，中央立即决定组织南昌起义。聂荣臻与贺昌、颜昌颐随即夜以继日，一个部队一个部队地传达中央的指示，同连以上干部党员都谈了话。
一些部队按中央部署陆续向南昌集结。叶挺的第二十四师，贺龙的第二十军，蔡廷锴的第十师，分头向南昌开进。留在九江一带的还有第十二师和第二十五师。
中共临时中央常委会和国际代表决定南昌起义的部署是：在南昌武装起义成功后，立即南下，占领广东，取得海口，以待国际援助，再举行北伐。
7月26日，周恩来赶到九江，向谭平山、李立三、邓中夏、恽代英、聂荣臻等人传达了中央的意见。会后周恩来交代聂荣臻：到马回岭把第四军的①聂荣臻“七大”代表登记表，原件在中共中央组织部。
①李立三1927年10月给中央的报告《八一革命之经过与教训》。
第二十五师拉到南昌，参加起义。他们约定信号：起义举行了，就从南昌放一列火车开到马回岭。马回岭是九江到南昌间的一个火车站。
聂荣臻立即到马回岭第二十五师，紧张地做起义的准备工作。
南昌起义的枪声是8月1日凌晨2时打响的，到凌晨6时，肃清了城内抵抗的全部守军3000人。起义成功了！一列火车来到了马回岭。
聂荣臻所担负的动员第二十五师起义的任务，是异常艰巨的。第二十五师师长李汉魂是张发奎的亲信。该师辖第七十三、七十四、七十五3个团。
第七十三团的前身即叶挺独立团，团长周士第是共产党员。第七十四团团长是张发奎的人。第七十五团副营长孙一中，是黄埔一期的学生，当时任第七十五团中共支部书记，实际上掌握着这个团的领导权。根据这种局面，聂荣臻判断，是无法一下子把第二十五师整个师拉走的。
聂荣臻首先拉第七十三团。他与周士第商定，先把辎重装火车运走，部队接着向德安集中。他随后到第七十五团。第七十五团与师部驻扎在一起，行动不便。他和孙一中确定，以野外演习的名义，只拿武器弹药，把该团3个营的部队拉出来，在第七十三团后面跟进。至于第七十四团，只带出一个侦察连，这个连的连长是共产党员。
8月1日，聂荣臻率领起义队伍由九江经德安向南昌开进。行至德安一座铁路桥旁，张发奎带着卫队营乘火车从后面赶来，火车停下，队伍也停下了。双方形成僵持局面。聂荣臻当机立断，叫张发奎往回开车，但他不肯。
聂荣臻命令身边的一个排长：“你让他往回开车，他不开车就朝天鸣枪。”
这个排长喊了几声，火车还是不开，聂荣臻就喊了一声：“放！”一阵排枪，把张发奎吓坏了，他急忙跳下车，丢下卫队就跑了。张发奎回去后，派了个参谋，捎来封信，要求把他的望远镜还给他。聂荣臻叫那个参谋带回了望远镜，还把全副武装的卫队也交还给张发奎。因为当时还想争取张发奎，所以不能不留有余地。
德安至南昌的火车不通，聂荣臻率领起义部队连夜行军，赶向南昌。紧急、炎热、干渴，但部队情绪很高，精力旺盛。8月2日拂晓时，聂荣臻看到了飘扬在南昌城头上的鲜艳红旗。
聂荣臻到起义军指挥部向周恩来做了汇报。周恩来很高兴，说：“设想到把二十五师大部分拉出来了。”
第二十五师的两个团又一个连，计3000人，汇入南昌起义的队伍，编为起义军第十一军的第二十五师。
8月2日，南昌起义后成立的国民党革命委员会任命吴玉章为秘书长；刘伯承为参谋团参谋长；贺龙兼代第二方面军总指挥，仍兼第二十军军长；叶挺兼代前敌总指挥，仍兼第十一军军长；朱德为第九军副军长；郭沫若为总政治部主任。聂荣臻被任命为第十一军党代表。他熟悉叶挺，很高兴与叶挺一起领导十一军的工作。
按照既定部署，起义军没有休息整顿，于8月3日起，匆忙地从南昌启程南下了。
起义军踏上南征道路后，困难和挫折接踵而来。在左翼行进的蔡廷锴部第十师，4日到达进贤时脱离起义队伍，转向浙江，拉走占全军四分之一的兵力。八月的江西，暑热蒸人，山路崎岖，行军异常困难，只得丢弃重型武器装备，途中生并离队所造成的减员十分严重。对这些，聂荣臻后来认为，主要是没有在南昌整顿部队造成的。
起义军沿途经临川、宜黄、广昌、瑞金、会昌，于9月5日到达长停沿途经激烈战斗，击溃了钱大钧、黄绍竑部，虽歼灭数千敌人，自己也伤亡不少。聂荣臻在1957年写的纪念文章中说：“老实说，我们那时候还不会打仗。遇到敌情，不论在战术上战役上都没有周详的歼灭敌人的作战部署和计划，因此，常常没有消灭敌人，而只是把敌人打垮，自己也有许多伤亡。”①起义军在长汀稍事休息，数百名伤病员被送迸傅连暲主持的福音医院，得到了治疗。然后，起义军出上杭，沿汀江进入广东境内。19日占领三河坝后实行分兵，由朱德率领第十一军二十五师留守三河坝，以监视在梅县的钱大钧部，掩护全军侧背；第二十军和第十一军二十四师直下潮汕。聂荣臻后来说，三河坝分兵使主力拆开，削弱了起义军的战斗力，是一个失策。23日，起义军进入潮安。24日晨，占领汕头。
这时，敌人的重兵正向潮汕附近集结。陈济棠率粤军主力3个师从广州向粤东推进，汇合王俊的警备旅，占领作为潮汕屏障的揭阳、汤坑一带的有利阵地；黄绍竑率第七军两个师在粤北渡过韩江上游，窥伺潮汕；钱大钧部牵制着三河坝第二十五师。起义军于26日向北迎击粤军，进军揭阳。由于分兵3000人留守三河坝，又分兵1000人守潮州（第二十军三师），起义军仅能集中6000人，只及当面敌军的三分之一，而情报又发生错误，以为敌人只有1000人。28日，起义军向揭阳北部山湖地区攻击前进，首先击破王俊的警备旅。
在汤坑周围所发生的战斗，是起义军数次战斗中最惨烈的一次，最激烈的战场在汾水镇。此镇北面二三百米处的高地是争夺的制高点，薛岳所部新编第二师控制着制高点及制高点背后的一片高地；东面，村头外是个不足百米高的山头，贺龙、叶挺和聂荣臻就站在这个山头上指挥战斗。因为汤坑是个比较大的地方，所以历史上一般都称这次战斗为汤坑战斗。聂荣臻对这次恶战留下了深刻印象。他回忆汤坑战斗时说：唉！就是正面与敌人打，不晓得侧面包围起来，双方隔着一个山的很小的角角，你拿手榴弹打过来，我拿手榴弹打过去，你不退，我也不退，就在那里对峙着，打了一天，后来，派了一个营，想侧翼迂回，没有成功，到了黄昏就撤，两边都撤了，他们撤了，我们也撤了。那一仗我们伤亡很大。
汤坑战斗起义军歼敌3000多人，自己也伤亡2000多人。
1927年9月30日凌晨，起义军向潮州撤退，贺龙率第二十军在前，第十一军殿后。中途，叶挺、聂荣臻碰到贺龙的副官，得知潮州失守、汕头也难保，革命委员会向海陆丰转移了。
原来，就在他们从汾水后撤时，潮州背后响起了枪声。黄绍竑所部9000人进袭潮州。潮州起义军第二十军三师教导团只有1000人，其中包括将近三分之一的伤员，此外还有第六团一个营。当日黄昏，潮州失守。
部队究竟向何处去？叶挺说：去海陆丰不是办法，第二十五师被隔在三河坝失掉联系，如果去海陆丰，越走离二十五师越远，这不行。向福建去，那里敌人薄弱，只有张贞的一个师，没有多少战斗力，我们可以找到二十五师，带上他们一块走。
对于叶挺的意见，作为党代表的聂荣臻，煞费踌躇。去福建自然别具慧眼，情况诚如叶挺所说，而且叶挺跟随孙中山当营长时曾到过福建，对那里①《聂荣臻军事文逊，解放军出版社1992年7月第1版，第405页。
的情形有所了解，这个意见无疑是正确的。但是，若挥师北向，就与西去海陆丰的队伍分开了，最主要的是没有接到命令。作为军的党代表，在一种强烈的组织纪律观念支配下，聂荣臻说：这样不行，我们没有得到命令，这样走，不就成了单独行动了吗？没有命令擅自行动可不行啊！我们还是找到前敌委员会再说。
于是，他们掉头过江，经揭阳，于10月3日中午到达普宁县流沙镇。贺龙的二十军先到流沙，已向海陆丰前进。
周恩来率起义军领导机关部分成员，于10月3日从汕头退到流沙，等待二十军和十一军的领导人，准备召开紧急会议。
这是一次决策性的会议。参加会议的有周恩来、李立三、恽代英、彭湃、张国焘、谭平山、贺龙、叶挺、刘伯承、聂荣臻、郭沫若等人。会议从政治上和军事上总结了经验教训，贯彻已经商定的决策，并在军事上作了具体部署。
周恩来身染疟疾，发高烧，脸色铁青。他首先检讨了打败仗的原因，决定了善后办法：武装人员尽可能收集整顿，向海陆丰撤退，准备在那里进行长期的武装斗争；非武装人员就地分散。
这次会议的精神，在汕头时就大体上决定了。9月26日，起义军领导人在汕头开会，张太雷传达“八·七”会议精神，商定：丢掉国民党革命委员会的旗帜，打出苏维埃的旗帜，搞土地革命，武装人员撤至海陆丰，与当地农民武装汇合，非武装人员转往香港或上海。
在流沙会议上，周恩来讲完话以后，叶挺发言。他说：“到了今天，只好当流寇，还有什么好说！”他所谓“当流寇”，是打游击的意思。聂荣臻发言表示完全同意周恩来讲的善后办法。
会议开到午后2时左右，镇外山头上出现敌人，会议匆匆结束。能够集中的起义军余部，按预定计划离开流沙向海陆丰转移。
下午4时左右，部队行至流沙西南5里的莲花山，被敌陈济棠部十一师拦腰切断冲散，失去了控制。
天色转暗，聂荣臻和叶挺还在最后的阵地上，看着在夜色中四处流散的队伍，心情十分沉重。
周恩来发着高烧，神志不清，在担架上还喊着：“冲啊！冲啊！”聂荣臻深情地望着这位老战友、老领导，不断地劝慰：“你发着高烧，需要安静和休息。”
周恩来身边只有聂荣臻、叶挺和几个警卫人员。他们撤到一个村子，商量了一下，遣散了警卫人员，在夜色里走向陌生的旷野。
一路上，语言不通，地理不熟，行动起来倍感困难。就在他们茫然四顾时，遇到了中共汕头市委常委杨石魂。聂荣臻对杨石魂说：“你无论如何不能离开我们。你一定要掩护我们到香港。”经过千辛万苦，终于到达陆丰甲子镇，准备从甲子港出海去香港。不巧，台风大作，波浪滔天，无法出海，只好住下。甲子镇周围敌情严重，他们只有一支手枪自卫，为了安全，第二天转移至金厢镇，住在区委书记黄秀文的家里。黄秀文家只有一张床，给周恩来睡，叶挺、聂荣臻和杨石魂睡在地上。一连数日风雨大作。奔波、疲劳、焦虑，使周恩来疾病进一步加重。于是聂荣臻等人护送周恩来到靠海边的碧流村，请一位可靠的中医治疗。治疗期间住的是靠海边半山坡上一间孤零零的房子，人们传说，那是个闹神闹鬼的地方，平时没人到那里去。治疗四五天，病势好转，杨石魂陪周恩来、叶挺、聂荣臻返回金厢镇，在渚村上了小船，于黎明前启帆出海，向香港飘去。那条船实在太小，真是一叶扁舟。周恩来、叶挺、聂荣臻和杨石魂，再加上船工，把小船挤得满满的。他们把周恩来安排在舱里躺下，舱里再也挤不下第二个人。其他人和那位船工只好挤在舱面上。船太小，舱面没多少地方，风浪又大，小船摇晃得厉害，站不稳，甚至也坐不稳。他们就用绳子把身体拴到桅杆上，以免被晃到海里去。这段行程相当艰难，在茫茫大海中颠簸、搏斗了两天一夜，好不容易才到了香港。
南昌起义失败了。在潮汕地区的起义军余部1200多人，由董朗、颜昌颐率领于10月7日到达海陆丰，与当地农军会合，改编为红二师，董朗为师长，颜昌颐为党代表，树起了苏维埃的旗帜，加强了由彭湃创立和领导的海陆丰红色政权。第二十五师与钱大钧部激战3昼夜，由三河坝转饶平，在朱德、陈毅的领导下，于次年初发动了湘南起义，随后上井冈山与毛泽东领导的秋收起义队伍会师。贺龙、林伯渠、刘伯承、恽代英、李立三、张国焘、谭平山、郭沫若等人于10月陆续安全转移到各地。
对南昌起义失败的教训，聂荣臻在《回忆录》中说：首先，南下广东的战略方针就错了。为什么一定要南下？当时还强调占领海口，以争取外援，今天看，这种想法缺乏自力更生的精神，也是不对头的。
??我们不一定非南下不可，如果在南昌附近，或是在湘、鄂、赣农村地区，把我们的力量展开，面向农民，与当地农民运动相结合，发动群众，武装群众，依靠群众，我们就能够推动土地革命，开展游击战争，创建革命根据地??当然，这只是现在的设想。实际上当时我们缺乏土地革命的思想，没有认识到走农村包围城市的道路??①。到了香港以后，聂荣臻于1927年11月4日曾致函中共中央军事部，对朱德率领的第二十五师的去向问题，提出了一个有价值的建议。至今这封信还保存在中央档案馆里。
钧甫兄：②
本日得二十五师来人杨心余来此报告云，二十五师退至武平后夏被十八师追击，在该地应战，我军本占优势，但士第③下令返却，然行动不一致，损失颇大。经过此役，现尚存实力约有一千五百人左右，枪支在一千以下，机枪两挺。及退至信丰时，兵士疲倦已极，士第等又未得着党的指导和消息，虽然派赵自选④去，恐亦未曾赶及??现由玉阶⑤负总责指挥??我恐士第走后，军事及党部方面均无重心，恐玉阶不能指挥。来人云，玉阶已曾表示向大众云“如你们不愿继续奋斗者可以走，我虽有十支八支枪，还是要革命的。”
由此可见，他掌握部队之难了，并且走的方向亦不妥，我的意见现在只好闯进湖南去，与湘农民会合??。
在这封信里，可以看出聂荣臻已经有了革命武装斗争应该与农民运动相结合的思想，这在当时是很可贵的。
①《聂荣臻回忆录》，解放军出版社1986年3月第2版，第76页。
②中央军事部的代号。
③士第，即周土第（1900—1979），当时任起义军第二十五师师长。
④赵自选（1901—1929），当时任中共广东省委委员。
⑤玉阶，即朱德的字。