广州起义迫在眉睫。12月8日，中共广东省委在《关于暴动工作的准备情形给中央的报告》中特意提出：“我们指导力量薄弱，希望恩来兄能即来。”
但周恩来因工作离不开，未能来粤。
革命军事委员会根据叶剑英和其他方面提供的情报，决定于11日提前起义。中共广东省委派叶挺前来广州担任军事总指挥。他12月10日从香港仓促起程，当晚到达广州，立即投入了紧张的起义前的战斗部署工作。
10日晚，起义总指挥部成员及有关人员举行了秘密会议。参加会议的有叶挺、张太雷、周文雍、黄平、聂荣臻、杨殷和徐光英；还有新任命的教导团团长李云鹏和各营营长叶镛、赵希杰、饶寿柏，警卫团团长梁秉枢，以及工人赤卫队、市郊农军的领导骨干多人。会议确定了起义的时间和各路起义队伍的战斗任务、行动路线、联络信号等等，同时要求大家严守纪律，听从指挥，坚决完成任务。
午夜，在教导团的营房里，几名革命战士按照计划悄悄摸进参谋长朱勉芳的卧室，将其处决。与此同时，各连的反动分子也被一网打荆紧接着，全团革命师生臂带红布条，鸦雀无声地集合在操场上。起义领导人张太雷、叶挺、恽代英等到达操场，简短地进行了战斗动员。
“夜半枪声连角起，广州工农兵起义。”
11日凌晨3时30分，教导团打响了第一枪。震惊中外的广州起义开始了！
英勇的教导团全体革命官兵，高举带有镰刀斧头的大红旗，分三路出发，投入了市内的战斗。随后，梁秉枢等率领的警卫团、王侃予等率领的黄埔军校特务营，以及市内各地的工人赤卫队，犹如万箭齐发，向着各个指定目标发起勇猛的攻击。
东路，教导团主力直指沙河，那里驻有张发奎留下的一个步兵团。经过战斗，步兵团被打垮， 600余人被俘。接着，教导团主力又消灭了驻燕塘的炮兵团，尔后，回师市区，协助工人赤卫队攻占了反动堡垒公安局。
中路，教导团一部和工人赤卫队攻占了省政府及其以北的制高点观音山。
南路，警卫团第三营及工人赤卫队一部向第四军军部等地发起进攻，遇到顽强抵抗，未能攻克。
起义的枪声迎来了羊城的黎明。
城内的敌军猝不及防，溃不成军。可笑的是，张发奎和陈公博在梦中被枪声惊醒，还打电话找叶剑英，命令他派兵镇压。及至得到教导团、警卫团相继“叛变”的消息，连衣服、鞋子都顾不得穿，狼狈逃窜到珠江南岸，找第五军军长李福林“保驾”！
12月11日上午，广州市苏维埃政府和临时工农红军总指挥部在公安局宣告成立。苏兆征任苏维埃政府主席（未到职），叶挺任工农红军总指挥，叶剑英任副总指挥，①后被补选为中共广东省军委委员。
“夺得政权声势众”。广州城内满街奔走着“红带友”。总指挥部门前，工人们排着队领取武器。在总指挥部里，叶剑英协助总指挥叶挺紧张地指挥着各支起义队伍向纵深推进，扩大战果。到11日中午，起义军占领了无线电局、邮政局、各区警察署，以及其他国民党的党政机关，控制了广州市的大部地区，但第四军军部等据点的敌人仍在负隅顽抗。叶剑英离开总指挥部，冲到第一线指挥战斗。他先到维新路，指挥教导团士兵布防，又到文德路城隍庙门口，教不熟练的炮手架炮，亲自指挥炮兵向敌人射击。②敌人不甘心失败。他们在英、美、日、法等帝国主义支持下，加紧勾结，调兵遣将。陈公博、张发奎、黄琪翔等逃到珠江南岸以后，匆匆忙忙登上一艘军舰，到肇庆和江门等地调遣部队，大肆反扑，逐渐对广州形成合围之势，妄图把新生的革命政权一举扼杀在摇篮中。
叶剑英利用战斗间隙，返回总指挥部，同时挺等冷静地分析了敌情，然后找到军事顾问诺伊曼和斯库托夫，提议迅速抽调兵力迎击来自北面的许志锐部和来自西南的李汉魂部敌军，还提出将起义队伍迅速转入农村的建议，但均未被采纳。叶剑英眼看第四军军部据点久攻不下，又得到警卫团第二连叛变的消息，心急如焚。他命令教导团炮兵连连长田时彦到指挥部，当面交代两项任务：第一，迅速率部队前往观音山解决叛变的警卫团第二连；第二，解决叛军后，即在山上架炮，居高临下，炮击第四军军部。田时彦率炮连到达阵地后，架好山炮，即派人与叛变的二连连长谈判。对方看到全市大部地区已被起义军占领，便无可奈何地带领全连交枪归顺。接着，炮兵连将炮拉上山顶，炮口对准长堤方向，由炮兵指挥官杨达夫（朝鲜籍）亲自操炮，朝着第四军军部驻地肇庆会馆连连开炮。目标被击中，顿时浓烟四起，守敌乱了阵脚。
这时，停泊在珠江上的几艘英国军舰，对准天字码头一带的起义军阵地猛烈轰击。防守这一地带的工人赤卫队和警卫团士兵急报指挥部。叶挺、叶剑英立即下令教导团的炮兵连狠狠还击。敌舰连中数弹，见势不妙，急速向白鹅潭方向退去。但是，敌舰仅退至起义军炮火射程之外，又继续向岸上射击。反动军队也向市区步步进逼。
在这种紧迫的形势下，起义军总指挥部召集紧急会议，分析形势，讨论下一步行动方案。会上，叶挺、叶剑英、聂荣臻等认为起义虽然成功了，但敌众我寡，孤立无援，不宜坚守广州，建议将革命队伍拉出去，转向农村，①叶剑英谈话记录，1981年1月10日。在广东革命历史博物馆查阅的资料，1991年5月。
②访问陈慧清、刘祖靖、刘少卿谈话记录，1984—1987年。
与农军汇合。但是，诺伊曼等人激烈反对这种意见，并大声训斥叶挺等“动冶，想当“土匪”。诺伊曼主张“进攻，进攻，再进攻”。经过反复争论，最后决定以教导团为基础，迅速扩建军队，把工人赤卫队和教导团编成三个师；打通与海陆丰的联络道路，组织农民队伍前来增援，打击敌人援兵；对尚未攻下的残余据点，采取军事打击与政治攻势相结合的办法，迅速予以解决等等。可惜，由于敌人来势凶猛，这些决定和措施，没有来得及贯彻实施。
12月12日晨，各国驻粤领事举行联席会议，决定派陆战队登岸，驻守沙面。原来欲图保存实力、按兵不动的李福林部，向江北市区发起进攻。起义军在叶挺、叶剑英、聂荣臻、杨殷等分头指挥下，在长堤一带四次击退了强行渡江的敌军。战斗中，叶剑英冒着枪林弹雨，拿着驳壳枪，在长堤第一线巡视布防，指挥战斗，还利用战斗空隙去探视伤员，巡查俘虏。
12日中午，敌军攻占了广州制高点观音山的一些山头，有小股敌兵冲下山向吉祥路前进，使苏维埃政府所在地受到威胁。叶挺和叶剑英命令教导团团长李云鹏带领队伍夺回了被敌军占领的一部分观音山阵地。不久敌人后续部队上来，又重新向观音山阵地反扑，观音山再度告急！这时，叶剑英立即派红军指挥部副官陈赓，①率领部队前去增援。适逢徐向前率工人赤卫队亦奉命去增援，起义军经过猛烈冲杀，粉碎了敌人多次反扑，守住了观音山阵地。
陈赓在起义后的报告中写道：“当时负指挥之责者叶挺为红军总指挥，叶剑英为副总指挥。??12日午12时，李福林军约一团由观音山来攻我军，赓奉叶剑英命率队前往观音山与敌抗战。赓亲督队与敌奋战，约数小时将敌纷纷击溃，并缴得军械甚多。”②敌军又一批援兵到来，向观音山阵地发起了新的反扑。
12日午后4时，教导团第三营第十连连长邱维达奉命来到总指挥部。叶剑英指着广州市地图问邱：“你知道观音山这个据点的重要性吗？”
邱维达回答说：“这是控制全城的制高点，决不能丢失。”
叶剑英当即命令：“你火速带全连跑步前往观音山，支持陈赓部的战斗，坚决守住观音山！”
观音山虽然一时守住了，但从其他方向进攻的敌人又猛压过来。珠江南岸敌人在帝国主义军舰的掩护下，再次强渡珠江，进犯江北市区。叶剑英即调教导团第一、三营在永汉路布防，迎头痛击来犯之敌。但是由于敌众我寡，起义军兵力不济，部分阵地被敌占领。
这时，刚刚从西瓜园广场返回总指挥部的张太雷，听到一股敌军正向起义总指挥部扑来的报告，急忙乘车赴大北门指挥部队阻击，他走到大北街附近，遭敌伏击，中弹牺牲。①叶剑英得知这一不幸消息，不胜悲痛。
形势越来越严重。傍晚，起义总指挥部决定撤出广州，并分头向起义队伍下达了撤退命令。
当时仍在阵地上指挥战斗的叶剑英，未接到这一命令。黄昏后，他几经周折，找到司机罗炳等，要他们开汽车去东江联络彭湃的农军前来广州增援，罗炳等驾车冲出市区后，因在途中病倒，没有达到目的。
对于当晚最后撤离的情景，叶剑英回忆说：“那一天晚间，当我从长堤①与陈赓大将同名，后牺牲。
②《陈赓给牛斌的信》，载《广州起义》，中共党史资料出版社1988年5月版，第①访问张西蕾（张太雷之女）谈话记录。
巡视回来到苏维埃政府所在地时，一个人影都没有了。我上楼一看，财务部长的办公桌上放满了五十元、一百元的票子。我看了一下，又到楼上、楼下都找了一遍，见不到一个人。我当时没有想到把那些钱拿起来，将来交给党，白白丢在那里了。”①这一天夜里，起义军主力从市区撤出，在黄花岗集中后，经太和圩向花县撤退。敌军以比起义军多十数倍的兵力向广州围攻。13日上午，来不及撤退的部分起义队伍和工人赤卫队，坚守街垒，与敌人展开肉搏战。由于敌我力量悬殊，敌军陆续抢占了市内主要据点。13日下午，广州全城被敌军占领。
被喻为“广州巴黎公社”的这次起义失败了。
时隔五十年后，叶剑英在《大革命失败与广州起义》一文中，对这次伟大的起义，曾经作过如下的评述：“广州起义留下的教训是多方面的，其中主要的一条是：无产阶级先锋队要派自己的干部下乡。??如果广州起义不留恋城市，在起义之后自觉地、主动地迅速向农村发展，与当时正蓬勃发展着的海陆丰农民运动相配合，建立农村根据地，开展以土地革命为中心内容的游击战争，那么，起义将会取得更大的胜利。”②广州起义的火种并没有熄灭，参加起义的队伍大部分转移到花县，改编为工农革命军第四师，到达海陆丰，与彭湃领导的红二师汇合。当时，中共广东省委曾经决定叶剑英去当合编后的师长，恽代英去当党代表。东江特委得悉这一决定后，也曾给省委打报告，要求“快些派他们来”。但是，由于敌人封锁严密，交通被阻断，叶剑英没有去成。起义的另一部分队伍到达北江，在韶关附近，参加了朱德、陈毅率领的南昌起义部队，经过辗转斗争，上了井冈山。还有一部分人到广西，后来参加了邓小平、张云逸领导的百色起义和龙州起义。
“将成即毁原尝试，虽败犹荣应赞扬”。广州起义同南昌起义、秋收起义联系在一起，成为中国共产党独立地领导革命战争和创造人民军队的伟大开端。它是中国城市工农兵武装夺取政权的伟大尝试，在中国革命史上谱写了光辉的篇章。
①叶剑英谈话记录，1982年2月1日。
②载1958年7月30日《人民日报》。
广州起义失败后，叶剑英暂时隐蔽在沙面租界。据李松宽、叶为梅回忆，第三天拂晓，他在党的地下交通员、广九铁路职工李运全的掩护下，装扮成铁路工人，从沙面搭省港航班前往香港。
叶剑英在香港，由于上了反动派的“黑名单”，随时都有遭到逮捕的危险，因此经常变换住址。他先在九龙油麻地，后又搬到香港新界居祝不久，他的弟弟叶道英陪着母亲、妻子也避居香港。全家人又搬到大埔墟一个住处安顿下来。①过了一段时间，叶剑英和隐蔽在香港的聂荣臻、恽代英等陆续接上了头。12月下旬，他被通知到坚尼城（西环）羲金台23号四楼广东省委秘密机关，出席中共广东省委会议。当时，在一起开会的还有聂荣臻、恽代英、陆定一、黄甦等。②聂荣臻在回忆这段历史时说：“在香港，剑英买了一部太平天国的野史，推荐给我看。我们一边议论太平天国革命失败的惨痛历史，一边总结南昌起义、广州起义成败的经验教训，越谈越投机，有时竟废寝忘食。在香港的交往，使我感到剑英精明强干，才华出众，分析问题精辟，对同志热情诚恳。
从此，彼此视为莫逆之交。”①聂、叶当时深感广州起义后起义军没有和农军联合起来建立根据地，是个大失误。他们曾向省委提了这方面的意见，可惜未被采纳。
叶剑英在香港“隐居”期间，除了读书，秘密访友之外，还尽自己最大努力，做一些有利于党的工作。
一天，一个叫陆久之的人，通过迂回曲折的关系找到大埔叶剑英的住处，请求帮助。
陆久之原是上海总工会秘书处工作人员，曾在周恩来、赵世炎、罗亦农、汪寿华等的直接领导下工作。“四一二”反革命政变后，陆暂避香港。叶剑英十分同情并支持他，让他寄宿在自己的住处。后来，叶剑英通过关系介绍陆回到上海，继续从事有益革命的工作。陆曾组织轮船招商局海员工会，酝酿发动罢工，未能成功。抗战胜利以后，陆久之同蒋介石与陈洁如所领养的女儿蒋瑶光结合，成为蒋介石的女婿。
叶剑英在香港期间，还接济和保护一些进步的同学和战友，秦元邦就是一个。秦是叶的同乡，也是梅县东山中学的学友，中共党员。他参加了南昌起义，随起义部队南下失败后只身到达香港，贫病交加，生活无着。一天，叶剑英在九龙码头上与秦元邦巧遇，得知他的困境，即邀他到九龙大埔堤家中暂祝此时，秦元邦正周身生疮。叶剑英尽管住处不宽敞，生活拮据，且不便在公共场所露面，还是想方设法为他求医治玻20多天以后，秦元邦身上的疮被治好了。叶剑英又派人秘密将他送回广东梅县老家，使他继续参加革命斗争。②在香港期间，叶剑英还与中共香港九龙区委负责人梁广以及地下党员柯麟、柯平兄弟等取得联系，进行秘密活动。为了避开国民党便衣特务的追踪，①访问梁碧光、曾庆石谈话记录，1981—1991年。
②访问陆定一谈话记录，1989年4月。
①聂荣臻：《吕端大事不糊涂》，1986年11月1日《人民日报》。
②访问奏元邦谈话记录，1985年7月1日。
叶剑英和柯氏兄弟等平时很少外出，贪婪地阅读各种报刊资料和能够看到的党内文件，等待党组织的安排，时刻准备投入新的斗争中去。①①访问粱广、柯麟、柯平谈话记录，1986—1991年。
1928年秋，中共组织决定派叶剑英去苏联学习。叶剑英听到这个消息非常高兴。多年的夙愿就要成为现实了！但他想到要离别母亲和家人，远走异国他乡，心里又有点惆怅。他是个孝子，对母亲的感情很深。他母亲听说儿子又要走，也暗暗流泪。叶剑英理解母亲的心情，何尝不想留下来，尽人子之道！但一想到革命重任在肩，只好劝说母亲再苦熬几年，等待光景好了，再回来团聚。他母亲是位贤慧勤劳、同情革命的老人，儿子长期离家，她已经习惯了。她虽然一时舍不得儿子离开，但并不拖儿子的后腿，反倒让儿子早一点启程。叶剑英把照顾母亲的事委托给弟弟叶道英，毅然告别了家人。
叶剑英坐船从香港到了上海。先期到达上海并在中共中央组织部做秘书工作的恽代英，热情接待了叶剑英等准备去苏联学习的7人，向他们传达了周恩来的指示，宣布由叶剑英当组长，负责带队。他还嘱咐说：到苏联学习革命理论，最多3年就可以回国。那里的斗争也很复杂，你们的主要任务是学习，要保持清醒的头脑。叶剑英表示，一定不辜负党组织的期望，把几个同志安全带到苏联好好学习。
叶剑英一行于12月20日从上海出发，经过大连、哈尔滨、满洲里，闯过一道道关卡，然后越过国境线，改乘火车，到达莫斯科。
按照初衷，叶剑英本来是要学军事的。他在国内投身革命，已经经历了十几年的军旅生活，积累了一些作战经验，很想到红军大学再深造一番，回国好继续驰骋疆场，从事武装斗争。没料到组织上却分配他到中国劳动者共产主义大学，学习政治理论，这与他的愿望有点矛盾。叶剑英的组织纪律观念一向是很强的，他想，自己刚入党，先提高一下马列主义理论水平，也是非常需要的，于是愉快地表示服从组织决定。随后，叶剑英和唐友章等一起到了位于莫斯科市特卡维斯卡亚街的学校报到。
中国劳动者共产主义大学的前身是中国劳动者中山大学（简称劳动大学或中山大学）。中山大学是苏联为了帮助中国革命，于1925年9月创办的。
中国共产党和国民党左派都送了不少人到那里学习。1927年，蒋介石、汪精卫相继叛变革命，疯狂屠杀共产党和革命人民，引起了全世界无产阶级的强烈义愤。共产国际遵照斯大林关于“国民党反共，我们要给共产党培养干部”的指示，于1928年4月决定将中山大学改名为中国劳动者共产主义大学。此时，东方大学的中国班也合并到劳动大学里上课。
劳动大学由共产国际和莫斯科市委领导。学校党组织的领导机构是党的支部局，各班还成立了党支部。根据学生的文化程度和工作经验，分设普通班（正规班）、预备班和特别班，总共有20几个班500余人。
叶剑英入学后，被编入特别班。参加特别班的都是中共党内一些年龄较大，文化程度较高，并具有丰富实践工作经验的同志。董必武、何叔衡、林祖涵（林伯渠）、徐特立、吴玉章、夏曦、李国琛等老同志都在这个班。还有稍年轻的，如吴亮平、唐友章、杨之华（女）、李哲石（李文宜，女）、赵世炎、张志立等，因革命起义失败而产生悲观情绪，开导说：“革命的道路是不平坦的，遭受挫折是难免的。失败是成功之母，革命不怕失败，就怕没有信心。我们应当相信真理在我们一边，正义在我们一边。只要认真记取经验教训，爬起来再干，不怕牺牲，革命一定会胜利。”
据吴亮平、陈修良、李文宜等回忆，叶剑英是个多才多艺的人，在紧张的课堂学习之余，常常拉琴，和同学们一起唱粤剧、京戏和革命歌曲。他常和董必武、林祖涵、徐特立等赋诗填词，互相唱和，跟大家在一起讲笑话、猜谜语。有一次他出了一个谜语：“生在山上，绿鬓婆娑，自归郎后，绿少黄多，受尽了多少折磨，历尽了多少风波，莫提起，提起来泪洒江河。”（打一物）同学们猜了半天都猜不出。叶剑英抖出谜底，说是撑船用的“篙”，大家齐声叫绝。叶剑英还常与徐特立等人到俱乐部去下棋。由于他们的棋艺精湛，经常引来同学们围观。
当时，苏联劳动人民的生活都很苦，劳动大学自然也不例外，但对中国学生还是尽量优待的。吃、穿、用全包下来。不但发普通西装，还发衬衣。
每个月每人发两个卢布。每年还组织学生到海滨地区休假、疗养。
20年代末，苏联共产党开始了大规模的清党运动。在劳动大学学习的中国同志也参加了这次清党运动。学校成立了清党委员会。叶剑英接受审查，被认为“历史清楚”，就通过了。①在清党中，王明（陈绍禹）一伙大搞宗派活动，他们在劳动大学把持支部局，拥护校长米夫，把中共“六大”会上的分歧带到学校，挑起激烈争论，制造两派尖锐对立。他们借反托派之名，打击持不同意见的同志。许多人受到处分和迫害。据唐友章、陈一诚回忆，叶因不理王明的一套，开始要开除党籍，后降为劝告处分。直到中共“七大”时，中共中央明确宣布，在莫斯科清党时的处分不算数，叶剑英等人才被平反。
劳动大学在王明一伙的宗派活动影响下，组织和思想方面都出现了混乱。许多人对此表示不满，纷纷向共产国际和苏共中央写信，要求回国工作。
学生们的意见反映到了斯大林那里，斯大林认为应当让所有劳动大学的中国学生和干部，一律回国，去接受实际斗争的考验，看看谁是真革命，谁是假革命。不久劳动大学正式停办。
1930年夏秋之交，叶剑英与吴玉章、徐特立、林祖涵等20多人一起，从莫斯科乘火车到达海参崴。然后从那里越过国境，经哈尔滨、大连、青岛到达上海。
叶剑英在两年的留学生活中，不仅系统地学习了马列主义的基本理论，而且参加了一些政治运动。他变得更加成熟了。
①叶剑英谈话记录，1982年3月5日。