加入中国共产党，使叶剑英实现了多年的夙愿。然而，摆在他面前的革命道路，却变得更加严峻艰难了。蒋介石和汪精卫相继背叛革命后，国内政治局势发生巨大的逆转，轰轰烈烈的中国大革命中途夭折。武汉三镇陷入腥风血雨之中。身在武汉、担任第二方面军第四军参谋长的叶剑英，目睹大批共产党人和革命群众惨遭杀害，心如刀绞，义愤填膺。他深深感到，在反动派的屠刀面前，共产党人没有自己的枪杆子是不行的。他更加痛惜新编二师的失败，多么希望能重整旧部，拉起武装，给反动派来一个反击啊！但是，中共组织却让他继续留在国民党军营垒中工作。
1927年7月中下旬，中共中央为了反击国民党反动派，使革命走向复兴并取得胜利，决定在南昌举行武装起义，并成立了以周恩来为书记的前敌委员会领导起义。与此同时，一批党员干部相继云集九江，具体组织和领导起义工作。叶剑英随第四军军部到达九江。
九江，南开陆道，途通五岭，北守长江，来商纳贾，史称七省通衢，自古以来为兵家必争之地。此时城里城外驻满了军队。共产党能够掌握和影响的有贺龙任军长的暂编第二十军、叶挺的第十一军第二十四师等部，都驻在这里。此外，还有其他部队。九江城一时显得拥挤不堪。
第二方面军第四军军部设在甘棠湖附近。军长黄琪翔因汪精卫要他公开反共、“清党”，又面临着与新军阀争夺地盘的矛盾，满腹心事。于是，他不时邀请与他素有交情的叶剑英磋商军机大事。当时，叶剑英的中共党员身份极端保密，鲜为人知，但与叶挺保持秘密联系，与第二方面军总指挥部秘书长高语罕、第四军政治部主任廖乾吾等也有交往。他尽力将获悉的重要军事情报传递给中共组织。
准备参加南昌起义的大批部队和干部涌向九江、南昌，引起了反动派的注意。
汪精卫同张发奎等人经过秘密策划，决定以张发奎的名义，邀贺龙、叶挺上庐山开会，届时予以扣留。同时令贺、叶部队到九江、南昌之间的德安一带集结，然后以3个军的兵力，包围贺、叶部队。然而，他们万万没有料到，这个阴谋被在他们身边工作的叶剑英察觉了。
军情急如火。叶剑英连夜找到叶挺，将汪精卫等人的密谋悄悄地告诉他。
他们商定，立即通知贺龙、廖乾吾和高语罕到甘棠湖烟水亭附近碰头，以划船赏景为掩护，共同商议对策。①在甘棠湖上的一个小划子上，叶剑英将他在山上听到的汪精卫、张发奎密谋要调贺军长、时师长上山的消息告诉了大家。
“他们要我们上山搞什么名堂？”贺龙一听急了，抢先发问。
“他们名义上要你们上山避暑，商议军情，实际上要把你们扣起来，罢掉兵权！”叶剑英沉静地回答，并将他所了解的内情和盘端出。
叶挺听后问贺龙军长上不上庐山，贺龙斩钉截铁地说：“我坚决不去！
这是黄鼠狼给鸡拜年，没安好心。我们不上庐山，不去德安，只去南昌。”
叶挺接着说：“好，我们不能上他们的当。”
廖乾吾、高语罕支持贺、叶的意见。
①叶剑英与萧克谈南昌起义，1979年7月16日。
经过短时间的磋商，作出了三项决定：一，贺、叶不上庐山；二，不能接受张发奎调贺、叶部队到德安集中的命令，贺、叶部队要立即开往牛行车站，乘火车到南昌去；三，叶挺的部队先行，贺龙的部队随后行动。①叶剑英最后对叶挺、贺龙、高语罕等说：“你们有什么动作请及时通报消息。”②甘棠湖上的这次会议，史称“小划子”会议。它对保证起义领导人的安全和将起义的主力部队及时开往南昌，起了重要作用。
7月26日，叶、贺部队次第转移，沿南污铁路线，开往南昌。此后，张发奎数次电催贺、叶上庐山开会，但他二人已到南昌，拒不从命。汪精卫不甘罢休，7月28日，他偕孙科、张发奎等从武汉赴庐山，召集朱培德、黄琪翔等开会，密商加紧“清共”行动。会议决定：（一）严令贺龙、叶挺限期将军队撤回九江；（二〕封闭九江市党部、九江书店、九江《国民新闻》报馆，并逮捕其负责人；（三）第二方面军实行“清共”，通缉恽代英、廖乾吾、高语罕等人。会后，汪精卫等迭次下令催促第二方面军各部队立即“清共”，严令贺、叶将部队立即撤回九江，并阴谋加害一些共产党领导人。叶剑英在庐山会议上得悉内情，立即派人下山通报给了廖乾吾。廖及时转告恽代英、高语罕等。他们迅速离开九江，赶赴南昌参加起义。
①王敏昭：《“八一”访问贺龙将军》，载1951年8月7日重庆《新华日报》。
②叶剑英谈话记录，1981年1月13日。
8月1日凌晨，由周恩来、贺龙、叶挺、朱德、刘伯承等领导的、具有伟大历史意义的南昌起义爆发了。经过4个多小时的激战，起义军全歼城内守军3000余人，占领南昌城。8月3日，起义军按照中共中央的预定计划，撤离南昌，向广东进发。担任起义总指挥的贺龙在起义的当天，即将这一重大事件通报给了在九江的叶剑英。叶剑英得到这一消息，心情十分振奋。
南昌起义，使国民党反动派惊恐万状。南京的蒋介石和武汉的汪精卫都急忙下令调集各路兵马，前去讨伐，妄图把起义军扼杀在摇篮里。汪精卫多次电令朱培德、张发奎速调赣东、赣南各处驻军“进剿”，将贺龙、叶挺等“叛乱附逆”“一体缉拿”，“务获元凶”。张发奎闻变，亲率第二十五师长李汉魂乘火车由九江至马回岭，企图阻止部队参加暴动。然而，第二十五师的一些部队在聂荣臻、周士第的率领下已向德安集中，并迅即向南昌开去。
张发奎狼狈地返回九江。
张发奎眼看部下一个军和近两个师的部队跟着共产党跑了，气急败坏。
他在九江召集黄琪翔、朱晖日、叶剑英等高级军官开会，商讨对策。会上，张发奎说叶挺、贺龙公然“叛变”，于公谊私情均不可谅解。朱晖日等极力主张立即派兵追击。面对这种形势，叶剑英心中十分焦急。他想，如果张发奎听了朱晖日等人的意见，真要率部追击起义军，起义军就要面临前后夹击的危险，后果将难以设想。他经过思考，决定利用张发奎一直想重新回到广东立足的企图，劝诱他放弃追击起义军的打算，以便保存起义军的实力。于是，他从容不迫地分析战局，侃侃而谈：叶、贺已撤离南昌，南下广东。广东李济深必不相容而派兵出击，广州城防随之空虚，这正是我们南下广东的大好时机。如果我军打起“援师讨逆”的旗号，直趋广州，比跟着叶、贺屁股打、两败俱伤要好多了。他向张发奎说：我们原来商量好的，到广东重新做起，如果尾追贺、叶，徒耗兵力，我军仍无立足之地，又怎样实现总理遗训、重新北伐呢？
张发奎听了叶剑英的意见，觉得很有道理。他自知以尚存的1万余兵力来对付贺、叶的2万多“叛军”，难操胜券，同时考虑到各方面的关系，遂采纳叶剑英的意见，放弃了尾追贺、叶的企图。
然而，张发奎毕竟怕担“通共”之嫌，又虚张声势，派出一部分兵力追赶起义军，以敷衍武汉政府。8月5日，电告武汉政府，谓“职部积极进剿”，本日先头部队已抵涂家埠”，“速向南昌追剿”。实际上，他率部追抵南昌后，又拖延时日，待贺、叶部队进兵临川、宜黄时，才派兵追赶。对于这一段史实，国民党出版的《国民革命军战史初稿》中有如下记载：“叶贺等遂东去抚州。张发奎率师追之。嗣忽分途，叶贺等由闽粤边境趋潮汕，张发奎部则改由南雄入粤。”①其实，张发奎、黄琪翔的“追兵”，与起义军“嗣忽分途”，改向南雄，正是叶剑英向张提出“力主不追”的结果。这样，就使南昌起义军减少了被迫击的压力，从而得以迅速打开南下广东的通道。
①《国民革命军战史初稿》，第3卷第393页。
在南昌起义之前，中共组织原计划还有一支革命武装力量，即中央军事政治学校武汉分校的师生，也准备参加起义。这个学校组建于1926年年底。
当时，第一次国共合作还没有破裂，革命势力在学校占优势，邓演达是代理校长，恽代英曾任政治部教官，陈毅任该校中共地下党委书记。学校是为继续北伐培养军政干部的一个基地，也是第一次国共合作时期武汉政府的一个重要支柱。全校有男女学生4000余人，革命气氛很浓。
但是，后来汪精卫日益反共，国民党反动派便把武汉军校的革命师生称做“赤子赤孙”，视为眼中钉、肉中刺，必欲除之而后快。对此，军校的中共组织采取了应急措施。党的领导人恽代英迅速离开学校。一些已暴露身份的共产党员也先后撤走，党的活动则由公开转入秘密。当时在第四军工作的叶剑英时刻注视着武汉军校动向，关心着它的前途和命运。
厄运终于降临。就在汪精卫发动反革命政变那一天，国民革命军第一方面军总指挥唐生智突然命令军校进行洪山野外演习。同时密令其嫡系军长何键、李品仙、刘兴等率队，将军校师生团团包围在洪山之上，企图一举歼灭之。
战事一触即发，情况十分危急。
叶剑英得知洪山演习与唐生智的阴谋后，即刻去找张发奎，劝他趁机解围，把军校这股武装力量收编过来以壮大二方面军的力量。张发奎接受叶的劝告，立刻亮出“左派”领袖的招牌，亲自出马交涉。
唐生智、何键慑于张发奎的压力，不得不终止其策划已久的反动阴谋。
不久，武汉军校被张发奎宣布解散，改编为第二方面军的教导团，这支革命武装总算被保存下来了。武汉中央军校改名为第二方面军教导团后，团内还有100多名没有暴露身份的共产党员。全团编成三个营，以及炮、工、辎重、警卫各一连，另有一个女生队。原军校女生大队300多名同学在改编时，被迫遣散。但是，游曦、郑梅仙、骆英豪、曾宪植等30几个人坚持不走，被编入教导团。另外，还有以崔庸健为首的朝鲜学生100多人。团长由原第二方面军参谋长谢膺白兼任。全团的教育、行政，均由国民党党部领导，而这个党部实际上为中共地下组织所掌握，团党部执行委员和各连（队）党部执行委员，多是中共地下党员。尽管如此，由于当时全国革命局势处在剧烈变动之中，学员们思想动荡，惴惴不安。
7月31日晚，教导团根据张发奎命令，出发“东征讨蒋”。教导团在赴南昌途中受阻，直到8月4日全团才乘船赶到九江。这时，张发奎突然下令缴械、“清党”。在这种情况下，已经暴露身份的陈毅连夜召集中共地下组织会议，决定：除秘密党员留下外，已暴露身份的党员迅速转移。陈毅带特务连长萧劲奔赴南昌。不少学员怕遭到国民党反动派的屠杀，又感到南昌起义已经失败，前途渺茫，于是，纷纷离队。①叶剑英把这一切看在眼里。他深知教导团是中共组织所能掌握的一支武装力量，无论如何不能叫敌人吃掉了，也不能叫它自己垮掉了，要想尽一切办法把它保存下来，交给党使用。于是，他寻找机会，几次来到教导团，找教员和学员们谈话，做了许多鼓励工作。
①访问许子威、程子华、曾宪植、许觉非谈话记录，1984年12月—1985年9月。
一天，叶剑英见到团长谢膺白，谈起教导团的问题。谢膺白满腹牢骚地说：“这个教导团不好管，我早就不想兼这个团长了。”叶剑英赶忙说：“你不当教导团长我来当，怎么样？”谢同意后，叶剑英就去找张发奎。张此时正在为教导团的事大伤脑筋。他明知教导团训练有素，能打仗，是难得的队伍，但又怕管教不好，出乱子。叶剑英摸透了他的矛盾心理，就劝他留下教导团，稳住军心，日后好派用场，并且告诉他谢膺白不想再兼团长，自己愿意去接替，来了个“毛遂自荐”。张发奎满口答应。①叶剑英在第四军中享有“儒将”的盛名。教导团的官兵听说有这位北伐将领来当团长，都表示欢迎。他到教导团上任后的第一件事就是体察下情。
当他了解到在学员中仍然存在动荡不安的情绪时，就召开大小会议，耐心地进行劝导工作，同时召见特务连长等交谈，叮嘱带好部队。叶剑英和同学们站在平等的地位，语重心长地说，你们都是有志革命的青年，这次从武汉出发，经过长途跋涉，经历了很多难关，总算闯过来了。从斗争中长了见识，这是无价之宝。他引导大家正确认识革命前途，要求大家在国家处在外忧内患、四分五裂的形势下开辟革命道路。他说，革命任重道远，有时顺当，有时受挫，不可能一帆风顺。但是，应当记着，困难是可以克服的，出路总是有的。他每次讲话，总是鼓励大家努力练武修文，成为真正的革命军人，奋勇向前。
叶剑英这些话，字字句句嵌入学员们的心坎，使他们拨开云雾，看到光明，浮动的人心开始稳定下来。已经走散的学生纷纷来归。教导团重新集合起2000余人。接着，叶剑英又向张发奎要回部分枪支、弹药，将全团重新武装起来，稍事整顿，即随第四军开赴南昌。
教导团进抵南昌后，江西军阀朱培德又横生枝节，向张发奎提出解除教导团武装，肃清共党分子的无理要求。身为教导团长的叶剑英，挺身而出，仗义维护。他首先面见张发奎，提出将第二方面军军官教导团改名为第四军教导团，直接并入第四军建制，加强整顿管束，以缩小攻击目标，缓和与朱培德的矛盾。张发奎欣然同意。接着，叶剑英又向朱培德透露，教导团经过整肃、清党，不会在南昌闹事。朱培德权衡利害，终于未敢下手。
就是这样，在短短一个月的时间里，多灾多难的教导团从武汉到南昌，从军校改编到归属第四军建制，二次易名，多次受挫，遭到唐生智、朱培德的暗算和攻击，但是，在共产党组织和叶剑英的关照下，经过全体革命师生的斗争，终于闯过来了。叶剑英费尽心血为党保留下了这支革命武装。
这一年，叶剑英与教导团女战士曾宪植结婚。
①叶剑英谈话记录，1981年1月10日。
8月中旬，第四军冒暑南进。叶剑英离开军部，亲自率领教导团沿着赣江南下，开始了千里跋涉。他命令放慢行军速度，以便与南昌起义的队伍保持距离。由于叶剑英在教导团出发前制定了严格的规章制度，因此一路上，部队井然有序，纪律严明。①长途行军极为艰苦。南方炎夏的天气忽晴忽雨，山区的道路崎岖泥泞。
许多学员跋山涉水，已属不易，再加上处处要提防反动军队的攻击和土匪、地主武装的袭扰，时常忍饥挨饿，露宿野外，渐渐地支持不住，累倒了，掉队了。有的产生苦闷情绪，甚至发牢骚。队伍里时不时有人哼起“断肠人在天涯”的小调。
叶剑英看到这种情况，把坐骑让给走不动的学员轮流骑，而自己坚持步行，边走边做工作。他鼓励大家说：“干革命可不是简单的事啊！会遇到许多困难，吃很多苦，要咬紧牙关，才能渡过难关！”
叶剑英不仅坚持徒步行军，与大家同甘共苦，而且要日夜操持全团的军务和生活，事无巨细，都要亲自过问。他每天都要派人侦察敌情和行军路线，亲自调查社情和民情，制定颁发行军命令。团部油印的“逐日行军令”，对于行军序列、时间、路线、行程、途中大小休息地点、宿营地等等，都规定得十分详尽准确，后面还带有附图，使人一目了然。行军途中，他经常召集军官在山林树丛中开会，研究部队教育以及露营、野炊、救护等问题。他还向一些连排长讲古代名将韩信、岳飞等带兵、作战的故事，启发部属要“自学成才”、“学战于战”。团里有两位营长是保定军校出身的老军官，经验多，他就注意多发挥他们的作用。他还特别关心团里的朝鲜族学生，行军途中向他们学日语，询问并解决他们的特殊困难。①就这样，在教导团千里行军中，叶剑英把行军路途变成课堂，利用时间，进行政治教育与军事训练，为党精心培育这支武装力量。
还在叶剑英率教导团南下之前，中共中央在武汉召开了“八七”会议。
会议总结了大革命失败的经验教训，彻底结束了陈独秀右倾投降主义在中央的统治，确定了土地革命和武装反抗国民党反动派的总方针。
8月下旬，叶剑英利用队伍在吉安小驻的机会，对前一段的行军进行检查总结。在总结会上，叶剑英向革命师生作了一次重要讲话。告诉大家准备打回广州，积蓄力量，举行第二次北伐，打倒新旧军阀，建立新中国！
9月，教导团到达万安。一天夜里，在这个水乡小镇上，教导团里的中共党委举行会议，邀请叶剑英列席。这是他入党以后第一次公开参加党的会议。会议在一所隐蔽的小屋里紧张地进行着，党委书记唐维主持会议。当讨论到下一步革命行动时，委员王侃予和李人一提出了在万安举行暴动的主张。叶剑英分析当时面临的形势，提出了否定意见，劝说大家不要在万安暴动，要插到广州，到敌人的心脏里暴动。对这件事，叶剑英回忆说：“队伍开到万安，有一天，团党委书记唐维告诉我：今天团党委开会，请你参加。
我是共产党员了，能参加党的会议，感到很高兴。会上讲到许志锐的二十六师从后方运来一大批物资，有好几十条船的弹药和军需品。有好几位同志提①在江西省委、赣州市（地）委党史办、档案馆查阅的资料，1990年12月。
①访问何祟校谈话记录，1991年5月。
出要在万安暴动，把这些武器、弹药夺过来。唐维一时拿不定主意，征求我的意见。我考虑到，在万安暴动意义不大，且不说不易成功，即使成功了，以后向哪里去呢？”叶剑英耐心地给大家谈形势，分析当时的敌我力量对比和地理条件，极力主张去广州搞暴动。他说：“跟在人家屁股后面搞，意义不大，真正的革命者要到敌人心脏里去暴动！”党委采纳了叶剑英的意见，放弃在万安暴动的想法。教导团继续南下，向广东南雄开进。
叶剑英提出的“到敌人心脏里暴动”的主张，同当时中共中央和广东省委的设想是基本一致的，也符合实际情况。当时南昌起义军已经南下，在万安暴动孤立无援，没有胜利把握。如果前面敌军回头反咬一口，两面一夹击，教导团肯定失败。而到广州去，那里是北伐的策源地，党刚刚举行过省港大罢工，群众基础雄厚。广州是全国著名的大城市，毗邻港澳，又是帝国主义和封建势力的老巢，如果在那里举行暴动，在中外会造成很大影响。更重要的是，南昌起义军已先去广东。教导团到了广州，举行起义，可以同他们携起手来，内外策应，胜可以守，败可以走。只要准备充分，指挥得力，成功是有希望的。叶剑英“到敌人心脏里暴动”的思想，显示了一个坚定的共产党人在国民党反动派的白色恐怖下不屈不挠的斗争精神。不久，叶剑英率教导团进驻广东南雄。叶剑英向教导团内的中共组织建议，为了准备广州暴动，他先去广州，教导团再跟上来。党组织同意后，叶剑英召开全团军官会议，要求各营连继续抓紧训练，整顿军纪，并指示各伙食单位的经济委员清查公布帐目，改善部队生活，防止贪污行为。他语重心长地对大家说：“教导团是军官教导团，是培养军事人才的，我们要挑起革命重担，在第四军内外作表率。”叶剑英先行赴穗后不久，教导团经韶关抵达花县。部队驻扎在花县新街进行整训。叶剑英精心培育的教导团不久之后成了广州起义的主力军。
叶剑英后来回忆说：“教导团是很好的队伍。如果调到部队，一个兵就可以当个连长。后来我到江西时，毛主席知道了教导团的情况后，也说：‘哎呀，太可惜了！一千多人，要是到这里来了就好了。’”①