1927年9月底，叶剑英又回到了广州。
此时的广州，到处是一片凄凉景象。自广东“四一五”反革命政变之后，大批共产党员被捕杀，进步组织被破坏，革命形势同全国一样处于低潮。叶剑英忆起几年前热火朝天的大革命盛况和东征北伐中壮烈牺牲的战友，不禁满怀激愤。
然而，共产党人是杀不绝的。广州的党组织虽然被迫转入地下，但仍坚持顽强的斗争。中共广东区委（后改省委）原确定在5月初举行的全省总起义虽然未能实行，但在党领导下的广州郊区以及东、北江等地的斗争仍在继续。从9月到10月底，海陆丰和琼崖地区（今海南省）先后爆发武装起义，并建立了苏维埃政权和革命根据地。南昌起义和秋收起义的风暴，振奋了广东工农群众的革命情绪。一个新的革命形势正在广东地区逐步酝酿和形成。
就在南昌起义军南下之际，盘踞在广州的桂系军阀李济深同张发奎拉开了争夺战的序幕。李济深不但掌握着军事实权，而且担任着国民党中央政治会议广州分会主席和广东省政府主席的职务。他为应付南昌起义军进粤，急急忙忙调兵遣将去潮汕增援，广州几乎成为一座没有防守力量的“空城”。
此时，早已觊觎广东的张发奎，一看时机已到，便让第四军军长黄琪翔打起“援李讨逆”的旗号，率领第四军从江西直驱粤北，转向广州，在李济深的“礼遇”下，浩浩荡荡开进了五羊城。
张发奎回到广州以后，以第二方面军总指挥的名义发表“凯旋宣言”，声称此次班师回粤有三大使命：第一，肃清共产党，铲除叶、贺逆军；第二，改善广东的政治；第三，扶植工农。他还搬出大革命时期的一些口号来欺骗群众。然而，他的真实意图则在于对李济深与南昌起义军之战作壁上观，等待双方力量削弱之际，乘机夺取广东全省的政权。①叶剑英就是在张发奎雄心勃勃，欲掌广东大权的情况下回到他身边的。
但是，却遭到第四军副军长陈可任等一些高级军官的反对。对于这件事，叶剑英曾作过如下的回忆：我一到广州，见到了国民党的军官陈可钰和薛岳等。陈可钰是国民党的元老之一，曾当过孙中山的警卫团团长。陈可钰知道张发奎要继续留我在第四军，便跑去见张发奎说：叶剑英这个人靠不住，过去蒋介石对他那么好，结果他反蒋，这个人留不得。
那时，张发奎还有点革命气概，当场反驳说：“反蒋？我也反！那时的蒋介石，该反就得反！”又说：“你们不要老叶回来，我就叫他请假，到德国留学去。”
陈可钰找了张发奎以后，我去见张发奎，张问我：“老叶，你回来，陈可钰、薛岳都反对，你看怎么办？”
我想了想说：“我还是去外国学习吧。”张发奎劝我不要急着走，先打个出洋报告，领下留学费用，等将来一起走。
这样，我就留下来了，继续担任第四军参谋长。既然陈可钰等反对我回广州，那么，我的行动就要注意一下了。我把情况向当时党的负责人黄锦辉①在中共广东省委、中共广州市委档案馆查阅的资料，1991年5月、12月。
作了汇报，并报告了省委军委。①
①叶剑英谈话记录，1981年1月10日。
黄锦辉是当时中共广东省委与叶剑英保持单线联系的负责人。他也是黄埔军校毕业生，参加过东征战役。1926年年底周恩来调离广州后，他负责广东省委军委工作。叶剑英到达广州不久，即与他秘密接上了头，向他汇报了教导团随军南下和此次单独来穗的工作情况，以及准备在广州暴动的设想。
黄锦辉听完以后，首先肯定了叶的工作，并向他详细介绍了广州的革命形势，传达了中央和广东省委最近一个时期以来的指示和工作部署，其要点是：中央已于九月明确指示要发动广州起义；广东党组织的任务是利用李济深和张发奎两派军阀之间的矛盾，积极作起义的准备；要纠正消极等待叶、贺军配合起义的思想；省委正着手组织总同盟军罢工，扩大工人赤卫队，发动市郊农民暴动，并分化敌军使之一部分能站到工农方面来。在这次谈话中，黄锦辉还交给了叶剑英这样几项任务：（一）要在张发奎的第四军中站住脚跟，掌握敌军动态；（二）加强对教导团的控制，掌握好这支暴动的基本武装；（三）利用敌人的矛盾，分化削弱敌人力量，壮大革命力量。最后黄锦辉叮嘱：对张发奎不能抱幻想，要提高警惕，处处小心，不能露出马脚。①叶剑英与党组织取得了联系，了解了党组织的意图，更加谨慎行事，在极其复杂险恶的环境中秘密地进行起义的准备工作。
9月底，南昌起义军在国民党军的重兵围攻下，被迫撤出了汕头。10月上旬，周恩来、贺龙、叶挺、张太雷、恽代英、聂荣臻等相继转往香港。这时，叶剑英受党组织委托秘密前往香港，会见了广东省委委员恽代英，交换情况，进一步商讨了广州起义的问题。返回广州后，他把与恽代英交谈的情况向黄锦辉作了汇报。
叶剑英在广州立稳脚跟后，昼夜思虑着如何把他苦心培育的教导团调进广州。张发奎、黄琪翔本来是拒绝教导团来穗的。他们听到许多关于教导团“赤化了”的传言，此时正把教导团看做是“一颗拉了弦的手榴弹”，既想丢出去炸别人，又怕留在手里炸自己。叶剑英看透了他们的心思，几次找他们陈述利害：要想驱逐异己势力，扩大自己实力，非起用这支饶有作战能力的年轻武装不可。并且一再担保，只要使用得当，调度有方，不会发生任何意外。费尽唇舌，张、黄终于被他说通，同意把教导团调入广州。10月中旬，教导团从广东花县新街出发，抵达广州北郊四标营。稍事休整，便获准重新发还武器，并补发了新的灰布军装。
教导团进驻广州后，叶剑英便设法与团内的中共地下党负责人唐维等取得联系。为了避嫌，他先向张发奎辞去教导团团长的职务，同时建议由杨澍松代理团长，李云鹏（中共地下党员）等人接任营长和连长。叶剑英部署停当，即来到教导团视察。这一天，他身着笔挺的军服，佩带短剑，英姿勃勃，出现在全团官兵面前。他首先问候大家，随即庄重地宣布杨澎松等人的任命，接着，讲革命的形势和任务，最后语意双关地说：当前，在我们面前展现着一条曲折的革命道路，希望大家不要低估自己的作用。要用高度的革命精神来接受紧张的训练。要养成服从军纪的良好习惯，为巩固革命策源地广东作出贡献！同学们听了老团长寓意深刻的讲话，对革命斗争的复杂性有了进一步的理解。
①叶剑英谈话记录，1983年5月3日。
叶剑英根据中共广东省委军委的指示，在教导团内加紧部署起义前的准备工作。9、10月间，党组织又发展了一批新党员。全团1300名学员和教官中，有200多名共产党员和革命积极分子，3个营长有2个是共产党员，其他各级干部也大部分是共产党员。叶剑英还与团内党组织负责人一起迅速扩大“工农兵革命同志会”这一进步组织，并指导“同志会”开展小组活动，进行个别谈心，团结和教育广大士兵群众，使全团绝大多数官兵同情革命。
通过这个革命组织，党的指示精神和“老团长”对起义准备的具体要求，得以在全团贯彻实施。由于党的领导加强，“孙文主义学会”的影响受到削弱，广州起义的武装准备工作有了迅速的进展。
按照中共广东省委和“老团长”的布置，教导团经常派出一些有战斗经验的学员深入到市区、工厂和工人住宅区，向群众宣传革命道理，指导工人纠察队使用武器。一些女生队的学员也穿起工人服，外出宣传，和女工一起讨论革命大事，受到工友们的欢迎。教导团的革命士兵与广大工人打成一片，阶级觉悟迅速提高。教导团党组织在叶剑英提议下，还以加强训练为名，成立了一个“士兵训练委员会”，根据城市起义的特点，对各个连队各有侧重地进行巷战中的攻击、射击、投弹、爆破、刺杀和夜战训练教育，并对全团的勤务、司号、炊事、饲养、看护等300多人，按时进行军事政治训练。每天，在晨光熹微中，一队队的教导团战士便开始了长跑锻炼。他们向着沙河方向，一直跑到黄花岗。在巍然肃穆的七十二烈士墓碑前，列队集合，高唱革命歌曲，抒发战斗激情。教导团战斗力日益增强，政治影响日益扩大。
正当教导团厉兵秣马、待机而动之际，粤系张发奎与桂系李济深、黄绍竑争夺广东地盘的斗争愈演愈烈。
自从南昌起义军在潮汕失败之后，黄绍竑得胜回归广州，代任第八路军总指挥。李济深自恃实力壮大，遂成立临时军事委员会，自任军委主席，并企图取消第二方面军的番号，直接指挥第四军。张发奎也不示弱，表面上声称要出洋，暗地里却召集军官会议签名倒李。这时，遭到国民党政府排斥的汪精卫，想利用张发奎的实力，赶走李济深，插足广州。而被桂系军阀李宗仁、白崇禧以及唐生智排挤暂时下野的蒋介石，也施展其两面派手法，拉张反李，妄图坐收渔利。汪精卫迫不及待地跑到广州，到处发表演讲，宣扬他的“护党运动”和“在夹攻中奋斗”的陈词滥调，遭到广州工人群众的怒骂和讥讽。
叶剑英为了麻痹敌人，掩护自己，陪同张发奎、黄琪翔等举行所谓“迎汪”大会。通过与汪、张的多次接触，进一步摸清了汪精卫的真实意图和汪、张之间的微妙关系。当时，汪精卫正与张发奎密谋，要将李济深调开，并乘机解除其部队的武装。叶剑英认为，两霸相争，必有一败，张、李矛盾，大可利用。于是等张发奎找他商量倒李之策时，他完全支持张的主张。不久，汪精卫以解决党内纠纷、出席国民党第四次中央执监委全体会议为名，于11月16日骗李乘军舰同赴香港并转道去上海。随后，黄琪翔即以“护党”名义发动了倒李的事变。一场争夺广东政权的军阀战争终于开常“事变”前夕，黄琪翔与叶剑英商量，决定以第四军教导团为主力，进行逐桂之战。17日凌晨，叶剑英向教导团下达了战斗命令。全团官兵按照预定部署，一举攻克了黄绍竑的第八路军总指挥部，接着占领黄埔军校、虎门要塞等地，夺取了兵工厂，捣毁了国民党广州政治分会清党委员会等据点。
桂系部队节节败退，很快被逐出广州。黄绍竑早已预感到这场角逐的败局，非常痛恨背后出谋划策的叶剑英，曾两次派人暗杀他，均未得逞。这次“政变”本来要捉获黄绍竑，因他化装出走，没有找到。后来，黄从香港逃到广西去了。
在这场驱逐桂系军阀的战斗中，教导团不但为“四一五”反革命政变中死难的烈士们报了仇、雪了恨，增强了战斗意志和信心，还攻占了迫击炮制造厂，缴获了大批武器弹药，进一步武装了自己，并秘密地装备了部分工人赤卫队。从而分化和削弱了反革命力量，为起义积蓄了力量，锻炼了队伍。
张发奎、黄琪翔通过这场被南京政府称为“急煞人的广东事变”，夺得广州政权后，马上在东较场召开所谓“护党”祝捷大会。张、黄首先得意地发表演说，但未引起多大反响。随后，叶剑英登台发表支持工人革命斗争的讲话，受到了与会群众的热烈拥护。会场上成千上万的工人群众高举红旗，高呼“打倒新军阀！”“士兵弟兄们站到工人方面来！”等口号。他们还当场散发革命传单。教导团和一些同情革命的士兵被深深感染，公开表示支持工人的革命行动。
“护党”祝捷大会上显示出来的工人和士兵的革命情绪，使张发奎大为惊恐。他进一步撕下“左”的假面具，采取了加紧镇压工人运动的步骤。同时，他对教导团越来越不放心。为了控制教导团，他将自己的表弟朱勉芳派往团里当参谋长，又安插一批亲信到教导团，严密监视革命师生的活动。但是，由于教导团的中共组织基础雄厚，叶剑英的影响较深，实际的领导权仍然掌握在“老团长”的手里。①就在张发奎把注意力转向对付日益高涨的工人运动的时候，他们的对手李济深、黄绍竑却在暗中调兵遣将，组成东西两路军，准备打回广州。其东路军指挥为陈铭枢，辖第十一军约两个师的兵力，从汕头向惠州方向进击。
西路军指挥为黄绍竑，辖桂军第十五军、徐景唐的第十二师等约4个师的兵力，集结于广西梧州等地，企图配合东路军夹击广州。
面对如此紧迫的形势，张发奎赶紧召集军事会议，商讨对策。会上，有的主张全面出击，有的主张先打东路之敌，有的主张先打西路之敌。各种意见，争执不下。叶剑英在发言中，首先分析了东西两路的敌情：东路陈铭枢由福州进入潮汕，实力较强，比较难打；而西路黄绍竑从广州败退广西，刚刚纠集起残兵败将，队伍虽多，多属杂牌，且立足未稳，比较好打。因此，他主张捏紧拳头，集中兵力打击广西一路来敌，先拿黄绍竑开刀。
张发奎采纳了叶剑英的意见。叶剑英见时机成熟，使出“调虎离山”之计，以参谋长的身份建议速战速决，说：“要打梧州，一定要全力以赴！”
张发奎任命黄琪翔为前敌总指挥，将广州防务交由叶剑英负责。黄琪翔根据叶剑英提出的作战方案，率第四军主力缪培南第十二师、许志锐第二十六师开赴肇庆、梧州一带，进击黄绍竑；派政变后新编的教导第二师黄镇球部增防西江；派薛岳师和李福林军的两个团去江门、四邑，以钳制态势向徐景唐的十三师逼进。其余部队也大都调至广州外围防守。这样，广州城内只剩下教导团和警卫团一个营及其他少数部队。广州一时成了一座“不设防的城市”，这就给革命武装起义造成了极好的时机。
①访问宋维靖、魏鉴贤、左洪涛谈话记录，1984—1987年。
为了不失时机地变军阀战争为革命战争，党加快了起义的步伐。10月至11月上旬，中共广东省委在香港连续召开会议，研究在广州起义的问题。正在香港养病的周恩来抱病参加会议，提出了许多中肯意见。11月17日，就在张、黄发动政变，赶走李、黄的同一天，中共中央常委会议及时作出《广东工作计划决议案》，要求中共广东省委在城市和农村中发动和扩大武装起义，夺取广东全省政权，建立工农兵代表会议的政权。
起义急需加强武装力量。为此黄锦辉特意交代叶剑英想方设法扩充和组建第四军警卫团。当时，新编的警卫团，共有两个营：第一营由第四军军部特务营改编，第二营由原李济深第八路军特务营改编。军官成份复杂，只有少数中共地下党员和进步人士。叶剑英受命后，即去面晤张发奎，向他提出广州城防空虚，亟待扩编警卫团。这时，张发奎正为工人闹事，驻守广州兵力薄弱，无力维持秩序而伤脑筋，于是听从了叶剑英的建议。叶剑英顺势推荐了中共地下党员梁秉枢担任警卫团团长。
团长问题解决了，其他的事，张发奎交给叶剑英全权办理。叶剑英想方设法安排了张诗教、陶剑寒（即陶铸）、蔡申熙等一批共产党员担任警卫团内的主要领导职务，并将300多名曾参加省港大罢工的工人招进该团，编成第三营，由共产党员施恕之任营长。各连的排长和班长也大部由教导团调来的进步学员担任。叶剑英将警卫团的组建情况及时报告中共广东省委军委，得到了批准。
叶剑英根据党的指示，在广州起义前，拟订了初步的起义行动计划。他不仅秘密地准备了教导团、警卫团两支武装力量，还与其他国民党军中有革命倾向的老熟人李明和李洁之等保持联系，以便到时让他们策应起义。当时，驻扎在石龙的七十五团团长李明是叶剑英信得过的老部下，对共产党有好感。起义前几天，叶剑英要他在广州的堂弟李新俊（少校军官）特意到石龙告诉李明作应急的战斗准备，并约定了行动方向及联络暗号。叶剑英的机智果敢和周密策划，使敌人无法逆料，连连中计。当时国民党广东省政府要员陈公博后来知道实情，叫苦不迭地说：“军队有了异动分子已经很可虑，而高级将领就是共产党，尤其无法可以预防。??原来我们的参谋长兼教导团长就是共产党，警卫团的团长梁先生也是共产党！”①但是，这个汪精卫在广州的代理人知道的并不完全，当时中国共产党除了掌握这两个团之外，还组织了3000余人的工人赤卫队和其他武装力量。
面对如火如茶的革命形势，张发奎使出了反革命两手：一方面指使公安局长朱晖日加紧镇压工人运动；另一方面，多次表示要与共产党谈判，协商所谓“共同保卫广州，不让桂系卷土重来”的问题。
当时，共产国际派来中国南方指导武装斗争的诺伊曼（德国人），对张发奎的本质认识不清，认为张发奎与李济深的矛盾是小资产阶级与地主阶级的冲突，发动广州起义，就会帮助地主阶级，主张与张、黄举行谈判。党内也有人同意他的观点，遭到叶剑英、周文雍等主张起义的同志的坚决反对。
11月20日，中共广东省委书记张太雷从上海来到省委所在地香港，否定了与张发奎谈判的意见，并向中央做了报告。26日，他到达广州，当晚召①陈公博：《寒风集·军中巢记》，上海地方行政社1945年7月版。
开省委会议，根据中央的训令，决定在广州举行暴动，并组成了以张太雷为书记的革命军事委员会。
起义的步伐大大加快了。
11月28日，中共广东省委秘密散发了号召举行暴动的宣言。工农群众进一步行动起来。
张太雷多次召集教导团党员骨干唐维、王侃予、李云鹏等人举行秘密会议，具体商议起义的部署问题。事后，他们将会议内容转告叶剑英，听取他的意见。
12月4日，张太雷代表省委于黄花岗召集教导团和黄埔军校特务营等单位的200多名党团员积极分子开会，动员大家做好暴动准备。
12月7日，张太雷秘密主持召开了工农兵代表大会，正式决定12日起义。在这次大会上，张太雷发表演说，高度评价了教导团和警卫团这两支武装力量，他说：“苏联十月革命，首先有列宁格勒的两团士兵同情工人，后来影响了帝俄在前方作战的部队，终于取得革命成功。今天我们起义，也有两团士兵同情我们，如果打响之后，能够影响军阀们在梧州混战的部队，我们也有可能完成革命任务。??”不料，共产党秘密准备暴动走漏风声，教导团内也有反动分子告密。汪精卫得知后，连夜派其妻子陈壁君从上海回广州，面告张发奎要立即镇压暴动。12月9日，汪精卫连发三电给他在广州的代理人陈公博以及张发奎、朱晖日，要他们火速解散教导团，查封工人赤卫队总部，“认真清肃共党”，并严厉指出：“所部凡有纵容共党者，立即严加惩办，决勿稍存宽吮，“如苏俄领事有包庇情事，应即勒令出境”。
就在这时，中共设在小北直街的大安米店的武装转运站被敌人侦破，更增加了敌人镇压起义的决心。
本来，教导团参与广州暴动一事，张发奎已有耳闻，并准备加以镇压，只因没有抓到可靠的把柄，加上叶剑英在旁多次劝阻，极力保护，张才未及下手。此事中共东江特委在事后给省委的报告中曾经提到：“这次广州的暴动，完全是以军官教导团做主力的。在我们未暴动以前，反动派对于军官教导团有一种风气，就是说军官教导团自官长以至兵士通通都赤化了，亟（就）要暴动了。所以张发奎、黄琪翔、朱晖日等的第一次军事会议时，朱晖日就主张要向他们大施屠杀。时时剑英同志极力担保，黄琪翔亦表示不赞成此种主张（黄已向我们妥协），故他们第一次欲向我们屠杀的主张已经没有实现。”①
叶剑英不但担保教导团，还利用其特殊身份营救被捕的地下党员（包括省军委秘书麻植）和革命分子。随着时间的推移，张发奎看到共产党准备暴动的迹象愈来愈多，感到危险似乎正一天天临近，于是召开第二次军事会议，作出了屠杀全广州的革命分子的决议，并于12月10日密调黄琪翔所部从西江前线赶回广州，策划以武力进行镇压。
在此千钩一发之际，叶剑英挺身而出，面见张发奎：“总指挥，根据我的侦察，所谓共产党暴动的情报并不可靠！”他分析形势说，共产党发动南昌起义业已失败，贺龙、叶挺败走汕头，绝对没有力量在广州暴动，不可轻信谣言。但是，张发奎的口袋里正揣着几封汪精卫发来的电报，内心还是疑多信少。叶剑英又向他说明自己是教导团的老团长，更了解教导团的所作所①《中共东江特委报告》，1928年1月13日。
为，并一再担保：“共产党暴动不成”，即使暴动了，光凭警卫团也对付得了。
这样，他一方面稳住敌人，另一方面，将所获敌人有关镇压起义的部署，随时报告党组织，暗地里通知教导团作好准备，警惕敌人袭击。起义前夕，叶剑英还特意到教导团，向全体师生严正指出：“很遗憾，张总指挥听到坏人告密，诬指我们教导团要举行武装暴动，并且准备从外面调动队伍来缴你们的枪，为此，我已向总指挥当面辟谣，大家可以放心操练，不要听信坏人的谣言！”他联系国内形势，告诉大家：“国民党内部斗争十分激烈。新旧军阀仍在津浦路混战，叶、贺队伍退到海陆丰，还要‘聚众闹事’”??这次讲话讲得非常及时，又很含蓄，局外人听来，是官长在教育部属，而在教导团革命师生听来则是传递消息，倍受鼓舞。这可以说是时剑英在起义前夕对教导团所做的一次重要的战斗动员。
为了麻痹敌人，教导团不动声色，按时作息，一切照常。只有少数党员在夜幕的掩护下，悄悄地进行着起义的准备工作。