聂荣臻离开黄埔军校，到中共广东区委军委工作。区委军委设在广州万福路南华银行二楼。这是一座铺着木地板的旧楼房，过道很窄，光线暗淡，人走动时楼板的响声很大。中间是一个大厅，入门右边有一张办公桌和几把椅子，是周恩来办公用的。左边有两张桌子，是聂荣臻和黄锦辉的办公桌。
西边屋是周恩来和其夫人、中共广东区委委员邓颖超的住处。东边的屋子是聂荣臻和黄锦辉的住处。这便是军委的机关了。
当时，军委的任务是为北伐战争进行准备。北伐是孙中山的主张，以打倒割据北方的封建军阀为目标。中国共产党予以积极支持。
广东区委军委直接领导着国民革命军第一、二、三、四、六军以及黄埔军校本部和入伍生部的党的工作。在周恩来的领导下，聂荣臻和黄锦辉同这些单位联系，派遣干部，部署工作，向共产党员传达党的方针、政策，积极为北伐进行准备。聂荣臻认为只有主动出击，才能推进国民革命。他对北伐充满了热情。
1926年5月1日，国民革命军第四军独立团团长叶挺率所部作为北伐先遣队，从广东省的肇庆、新会出发，开赴湖南前线。7月9日，各路大军誓师北伐，首先讨伐占据湖南、湖北、河南省的直系军阀吴佩孚。北伐战争开始了。
广东区委军委决定聂荣臻任军委特派员。任务是向带兵的共产党员传达中共中央和军委的指示，把下面的情况向上反映，帮助北伐军解决遇到的困难问题，并沟通军队和各地中共组织的联系，派遣共产党员到北伐军中工作。
他很快离开广州，坐船到上海。在上海向中共中央军委汇报了情况，转赴武汉，再坐船到长沙。当时长沙已经被北伐军攻克了。
聂荣臻在长沙组建了军委联络点。不久，叶挺率部自长沙出发，作为主要的突击力量与其他北伐军一起，经激战攻占汀泗桥、贺胜桥，包围了武昌。
得知消息，聂荣臻随即转往武昌前线。坐在火车上，他看到还没有打扫的战场，到处都是北伐军烈士和北洋军阀部队官兵的尸体，可见当时北伐军作战的英勇和战斗的惨烈。聂荣臻对叶挺和叶挺独立团的同志满怀深深的敬意。
聂荣臻到武昌前线后住在叶挺独立团团部。
10月10日，北伐军攻克武昌。硝烟未散，聂荣臻奋不顾身，从城门下的沙包缝里挤进了城，找到中共湖北省军委，在武昌中和里设下机关。他把这条巷子全号了下来，和湖北省军委一起办公。聂荣臻任湖北省委委员、省军委书记。不久，张国焘到武昌，任湖北省委书记。中共湖北省委机关在汉口，北伐军各军也都汇集于武汉三镇。聂荣臻这段时间工作十分繁重。为了推动北伐，他频繁地来往于武汉三镇之间，了解情况，传达中央指示，派遣干部。各军都需要干部，特别是七军、八军，过去没有派过干部，现在全部派了。派遣工作从派遣干部发展到派遣士兵。对张发奎的部队，分去大批黄埔四期的毕业生，林彪就是这时经过聂荣臻分配到第四军二十五师七十三团去的。
北伐军攻占武汉后，中共中央机关搬到汉口。聂荣臻向陈独秀汇报了军队工作的情况。陈对军事工作兴趣不大，在听完聂荣臻关于中共组织在军队里的发展情况后，只说“那好”，就扯一些其他的问题。军事、军队在陈独秀的脑子里是没有位置的。将来要不要把军队的领导权夺过来？共产党要不要搞自己的武装？陈独秀都没有讲。而这时，中国共产党已经面临着国共分裂，面临着被国民党屠杀的危险。因此，聂荣臻深感忧虑。
1927年3月21日，为了迎接白崇禧部进攻上海，中国共产党决定由陈独秀、周恩来等人领导发动上海第三次工人武装起义，依靠工人阶级的力量解放了上海。3月26日，蒋介石赶到上海，要求解除工人纠察队的武装，后来又要求把纠察队改归他指挥调动。上海总工会加以拒绝。4月11日夜到12日凌晨，工人纠察队被缴械，蒋介石随即对共产党人和革命人民开始大屠杀。
13日上午， 20万群众集会游行，又遭到镇压。国民党开始了疯狂的搜捕和屠杀，中国共产党被迫转入地下。这就是历史上惊心动魄的“四·一二”反革命政变。
政变后，中共中央派聂荣臻到上海了解情况和负责处理工人纠察队方面的善后问题。聂荣臻怀着焦急的心情立即动身。为了安全，他乘轮船到南京，与一批苏联顾问同赴上海。
在上海他找到周恩来、赵世炎，了解了中共组织和群众受损失的情况，研究了下一步整顿组织的方案。会后，聂荣臻心潮难平，更加痛恨蒋介石的阴险毒辣。他积极协助周恩来对工人纠察队进行了善后处理，把大批纠察队员转入地下。不久，中共中央要召开“五大”，周、聂二人是“五大”代表，便赶往武汉开会。
在夜色的掩护下，聂荣臻和周恩来由交通员悄悄地带到虹口码头，搭上英国轮船。船过芜湖时，敌人盘查很紧，气氛十分紧张，到了九江才松了一口气，赶到武汉时已是5月下旬，“五大”已经开完了。
这时，武汉的政治局势也在迅速恶化。
“四·一二”政变后，中共内部对“东征讨蒋”的问题曾有过一场争论，苏联顾问鲍罗廷和陈独秀都反对东征，主张进行第二次北伐。国民党的汪精卫、谭延闿、唐生智等人也力主北伐。4月19日武汉政府举行第二次北伐誓师大会。北伐军在河南取得了重大胜利。第二次北伐，给了蒋介石巩固在宁、沪等地的统治以极好的机会，终于，武汉政府管辖的地区同外地联系被切断。
至5月中旬，危机已经表面化。先后发生了国民革命军第十四独立师师长夏斗寅公开叛变：国民党独立第三十三团团长许克祥在长沙发动“马日事变”，屠杀革命群众；第一集团军第五方面军总指挥兼第九军军长朱培德在江西宣布“礼送”共产党员出境；汪精卫从郑州同第二集团军总司令冯玉祥会谈后返回武汉，宣布唐生智部回师武汉；冯玉祥同蒋介石在徐州会谈后，宣布驱逐共产党员出国民党；第三十五军军长何键率部从河南回武汉，发布反共训令，汪精卫公开煽动“分共”，武汉形势日益危急。周恩来、聂荣臻等共产党人和有识之士对这一系列的事态发展，无不愤慨和忧虑。
周恩来、聂荣臻到达武汉后，即在湖北省委军委的基础上建立起中共中央军事部，由周恩来负责，下有聂荣臻、王一飞、颜昌颐、欧阳钦等人，后又增加几个黄埔四期的学生，总共不到10个人。这个部负责组织联络各处来中央的军事干部，继续向各军和各部门派遣。在周恩来领导下，聂荣臻具体分管派遣工作。在这段不算长的时间里，向各军和各有关部门派遣了不少共产党员，其中包括朱德、陈毅、刘伯承、邓小平等人。
朱德从莫斯科回国以后，中共中央派他到杨森部队开展工作。杨森公开反共以后，朱德到了武汉。1月，朱德被分配到江西朱培德的第三军。他与朱培德是云南讲武堂的同班同学。朱德被任命为第三军军官教育团团长，着手筹办这个团。4月，又兼任南昌市公安局局长。刘伯承在四川组织领导泸（州）顺（庆）起义，失败后转武汉，先暂留武汉，后来参加南昌起义，担任起义军参谋团的参谋长。陈毅也是在杨森反共以后转到武汉的，任中央军事政治学校中共党委书记。邓小平是被冯玉祥“礼送”离开西北军来到武汉的，分配到中央机关工作。
在蒋介石的反共压力下，群英聚于武汉，面临着一个新的重大抉择。陈独秀仍在贯彻他的右倾机会主义路线，主张对蒋介石委曲求全。党内越来越多的领导人反对陈独秀的所作所为，主张反击蒋介石的反革命举动。
7月12日，中共中央根据共产国际的指示，对党的领导机构进行了改组，成立了临时中央常务委员会，陈独秀离开了领导岗位。
7月15日，汪精卫正式宣布同共产党决裂，公开背叛革命，轰轰烈烈的大革命失败了！
在这样的历史关头，中共中央断然作出了南昌起义的决定。