正当孙中山领导的资产阶级民主革命困难重重、步履维艰之际，迅速崛起于中国政治舞台上的一支新兴的革命力量——中国共产党向他伸出了援助之手。1923年6月，中国共产党在广州召开了第三次全国代表大会。大会决定共产党员以个人身份加入国民党，以建立各民主阶级的统一战线，共同进行国民革命，并提出了国共合作的目标和办法。这次大会以后，国共合作的步伐大大加快了。1924年1月，孙中山在共产国际和中国共产党的帮助下，在广州主持召开了国民党第一次全国代表大会。大会通过了有共产党人参加起草的以反帝反封建为主要内容的宣言，确立了联俄、联共、扶助农工的三大政策，从而把旧三民主义发展成为新三民主义。这次大会的召开，标志着第一次国共合作的局面正式形成，揭开了中国大革命的序幕。
叶剑英作为孙中山的一个忠实追随者，一个普通的国民党员，热烈拥护大会的决定。他为孙中山和共产党人的言论所吸引，怀着追求真理的渴望，阅读列宁的著作和介绍俄国革命的书籍以及中国共产党创办的书刊。他开始认识到，中国共产党的革命主张反映了时代的潮流，真正代表了工农大众的利益，必将受到工农群众的拥护。国民党“一大”前后，在中国大地上发生了一系列反帝反封建的工农运动，特别是香港中国海员工人大罢工、京汉铁路工人的“二七”大罢工，以及发生在广东的工会、新学生社等70多个团体联合举行的示威，这些声势浩大的群众革命运动，使叶剑英受到了实际而深刻的教育。他由此更加相信孙中山联合共产党、扶助农工政策的正确，尤其敬佩这位伟大的革命先驱善于从失败中汲取教训，全力推动中国民主革命事业向前发展的大智大勇和不屈不挠的品格。
孙中山逐渐懂得了建立革命军队的重要。他先后在桂林、上海、广州与共产国际代表马林、越飞、鲍罗廷等人多次会谈，采纳了他们提出的创办军官学校、建立革命军队的建议，并派遣蒋介石、王登云、张太雷等组成的“孙逸仙博士代表团”去苏联学习考察。
创办黄埔军官学校，是国共合作后孙中山的一个重大决策。叶剑英对此曾作过这样的评述：“1921年至1924年，是中山先生一生思想的最高峰。??1922年，中山先生回到广州后，根据自己研究和苏联革命经验，以及和加伦将军在一起研究了苏联建立红军的经验之后，深深感到要实行革命非得有革命的军队不可。这支革命军不仅要每一个成员具有革命思想，也必须有革命的军事制度。
所以，后来下决心办黄埔军校，在军队中实行党代表制度，建立军队政治工作制度，形成了中山先生那个时期的比较完备的建军思想。”①中国国民党第一次全国代表大会后，孙中山即着手筹办陆军军官学校，军校设在广州附近的黄埔岛上，人们称它为黄埔军校。孙中山指派蒋介石为黄埔军校筹备委员会委员长，并任命王柏龄、李济深等七人为筹备委员会委员。
2月6日，黄埔军校筹备处在广州市南堤2号正式成立，分设教授、教练、管理、军需、军医等部，李济深、王柏龄、林振雄等为各部门临时主任。
粤军第一师师长李济深暂未到职，由邓演达代理。
蒋介石虽被委派担任陆军军官学校筹备委员会的委员长，但他态度并不积极，也不做实事。真正负责实际筹备工作的是孙中山的得力助手廖仲恺。
孙中山在筹备军校之始，就委任廖仲恺为大本营秘书长，协助筹划军校开办事宜。廖仲恺不但日夜为筹措办校经费操劳，也为物色办校的人才费心。他听说粤军第八旅参谋长叶剑英是文武兼备的将才，便邀请他来参与办校。
叶剑英从八旅来到筹备处报到，被分配到教授部给王柏龄当助手，分管教学方面的事。筹备处刚刚成立，千头万绪，事如乱麻。叶剑英刚开始接手工作，就遇到不少困难。筹备处不仅资金缺乏，人手紧张，而且常常碰到各种阻力。他逐渐感到，有些阻力来自国民党内部。当时在创办军校问题上，真心拥护孙中山主张的只有廖仲恺、宋庆龄、何香凝等左派。而国民党内有些右派分子，不但不予支持，反而阻挠破坏。孙中山、廖仲恺依靠苏联和中国共产党的帮助，以极大的耐心和魄力克服人力物力等各方面的困难，为建校铺平道路。邓演达、叶剑英等奉命奔走于粤军各军、师之间，想方设法抽调人员、借款借枪，以应急需。
正当邓演达、叶剑英等人为筹备工作日夜奔忙的时候，发生了一个意外事件。
2月下旬的一天上午，蒋介石的英文秘书王登云来到筹备处，突然宣布了蒋介石的停办军校的命令。叶剑英和在座的人听了，感到莫名其妙，纷纷提出质问。
王登云避开正题说，现在蒋委员长已经离开广州。军校不办是肯定的了，没有什么好议论的，筹备处马上解散。委员长走前交代，参加筹备处的同志，一律发给遣散费。接着，他从皮包里拿出名单念起来：“邓演达先生二百二十元，??叶剑英先生一百五十元??”邓演达和叶剑英等提出抗议，反对不明不白地停止办校，遣散人员。
原来，蒋介石对孙中山不让他过问党务和军政大事的安排不满，借口经费拮据，停办军校，辞职返回家乡浙江省奉化县溪口镇去了。
停办军校、解散筹备处的消息传开后，一时人心惶惶。邓演达、叶剑英等人经过商量，觉得此事颇为蹊跷，决定去请示廖仲恺。不巧，廖仲恺去了香洲，不在广州。廖仲恺回来以后，听到蒋介石下令停办军校的消息，立即到筹备处召集大家开会。他恳切地说：应该了解，办黄埔军校是党要办的，而且一定要办。你们中间有人是蒋先生邀请来的，你们应该以君子爱人以德的态度帮助蒋先生。如果党要办，蒋先生不要办，或因此办不成，那么蒋先生就要开罪于全党。将来，他如想回来再参加革命，怕也很困难了。所以筹备工作要照常进行。
大家听了廖仲恺的一番话语，吃了定心丸，都表示要按廖先生的意见去做。叶剑英十分敬佩这位革命先驱的磊落胸怀和与人为善的精神。他以廖仲恺为榜样，克服各种困难和障碍，日夜操劳，努力把筹备工作做好。筹备处有关教授方面的事务多半落在叶剑英肩上。从制定教授计划方案、招聘教员、招考学生、编写教材，到置办教具，事无巨细，叶剑英都直接经办。遇到。
一些重大问题，还要同王柏龄、邓演达等商量，请求廖仲恺帮助解决。
在苏联政府和中国共产党的帮助下，廖仲恺组织筹备处的全体人员经过两个多月紧张而艰难的工作，筹备工作有很大进展，军校很快就可以接纳学员，正式开课了。可是直到此刻，蒋介石还没有回校之意。经过孙中山、廖仲恺的多次催促，直到4月下旬，他才不得不从溪口返回广州。
1924年5月3日，孙中山任命蒋介石为黄埔军校的校长兼任粤军参谋长。5月5比黄埔军校开课。6月16日正式开学。从全国各地考取的500名有志于革命的热血青年陆续跨迸校门，开始了紧张的学习生活。
学校组织机构陆续健全起来。孙中山亲自兼任学校总理。他确定，军校的办校宗旨是“创建革命军”，以“亲爱精诚”为校训，倡导“团结，奋斗，牺牲”三大精神。他非常强调学习苏联红军的经验，在军校仿照苏联红军的政治委员制度，建立了党代表制度。5月9比他特别任命廖仲恺为驻校国民党代表，并规定，凡军校的一切命令、公文，必须由党代表签署，交由校长执行，否则无效。这样就保证了党的新三民主义精神的贯彻和实施，使军校真正成为培养革命干部的基地。
在校长和党代表之下设6个部，即政治部、教授部、教练部、管理部、军需部和军医部。教授部由王柏龄任主任，叶剑英任副主任，并兼任教官。
此外，又聘请了钱大钧、沈应时、顾祝同、刘峙、胡树森、陈继承、文素松、严重、王俊等为教官，还有5名苏联教官，1名日本教官，组成了一支阵容相当可观的教员队伍。教授部的任务按照当时的军校《组织条例》规定，主要有6项，（一）计划教育，审订教案；（二）审编课程，征集教材；（三）实施教授，编配考察；（四）考核成绩，审订表册；（五）保障图书器材；（六）负责所属人员的统计调查及升降任免。
作为副主任的叶剑英，肩上的担子是很重的。他除了完成王柏龄交办的杂七杂八的事务性工作以外，把主要精力都用在了教学业务方面。举凡各学科、术科的课程安排、协调和联络，教学生活保障，以及课前备课，课间听讲、课后检查、学期测验等活动，叶剑英都要积极参与并组织实施。①当时教授部管4个队的8个教授班。每一堂课都要下发油印讲义，每天要刻印讲义达100页以上，由七、八个同学分送到各班学生手里。每天操课时间为9小时（术科5小时，学科4小时），还有晚自习2小时。学生的作息制度、活动情况，叶剑英都要过问和安排。除此之外，他还直接担任几个队的兵器学等课程的讲授。兵器学原理涉及的数理化知识较多，又无现成教材。为了教好这门课程，叶剑英温习过去在云南讲武学校所学的知识，同时补充新的资料，认真备课，细心讲解。当年听过他讲课的黄埔军校第一期学生苏文钦，多年以后回忆说：“记得，我在军校多次听叶剑英教官讲课，都是讲的兵器学，讲兵器的性能和如何使用，等等。他讲课，十分吸引人，一点也不枯燥，很有风趣，大家都很愿意听。”①当时，教授部主任王柏龄很器识叶剑英，对他的工作是满意的，但也逐渐觉察到叶剑英同廖仲恺、邓演达等国民党左派和一些共产党人过从甚密，“思想受到极大的变动”，日益激进。对此，他不无忧虑，并多次告诫叶剑英不要对政治太热心。时剑英对王柏龄是否器识自己，并不介意，只是心里有数罢了。他看不惯王柏龄甘当蒋介石“奴才”的嘴脸，更不屑于王柏龄蝇营狗苟的政客作风。他一心按照孙中山、廖仲恺确定的办校方针办事，献身于教育事业。这一点给军校师生们留下了深刻的印象。当时凡是接触过叶剑①访问李默庵谈话记录，1990年9月。
①访问苏文钦谈话记录，1984年12月11日。
英的人，无不称赞他在教授工作方面所付出的劳动和取得的成绩。聂荣臻回忆往事，曾评论说：叶剑英是军校主管军事教育的教授部副主任，在军校是很有威望的教官之一。黄埔军校的第一期学生、曾当过国民党军第七十三军军长的韩濬回首往事，不胜感慨。他说：“那时王柏龄抛头露面多，而在教授部里踏踏实实教学的还是副主任叶剑英，这方面实际由他负责，由他主持。”②当然，王柏龄的“担心”并非没有根据。黄埔军校是国共合作办的学校，共产党的组织和人员在学校可以合法存在与进行活动。这使叶剑英有更多的机会接触共产党人。凡苏联顾问和中国共产党人到军校讲课，叶剑英是一定要去听的。他从中听到许多有关共产主义的真理，对共产党有了进一步认识，并萌发了去苏联学习的念头。在军校第一期学生中间，每个队都有共产党的小组，蒋先云等一批共产党员，在中共广东区委领导下，积极开展各种活动，宣传三民主义与共产主义，经常利用休假日组织进步同学去广州市参加各种报告会，扩大共产党的影响。叶剑英也常参加这些活动。同时，他还到广州国光书店购买了《共产主义ABC》等书籍，进行自修。不久，他正式向党组织提出了加入中国共产党的申请。中共组织接到叶剑英的申请后，派熊锐同他谈了一次话，谈后却一直没有回音。后来，他才得知个中缘由：当时，中共组织的大多数同志都认为可以吸收叶剑英入党，但有少数同志提出，叶剑英是蒋介石嫡系部队的高级军官，需要作较长时间的考验。事遂搁浅。叶剑英并没有因此而灰心，仍然继续学习马克思主义的书籍，从各方面积极创造条件，争取成为一名中国共产党党员。
②访问韩濬、陈劼、黄鹤、李世鹏等谈话记录，1984—1986年。
1924年5月，孙中山将各路粤军统一进行改编。原粤军第八旅改编为建国粤军第二师（师长张民达），叶剑英任二师参谋长。这样，叶剑英除了负责学校教学工作外，还要协助张民达主持二师训练。他时常奔走于军校和二师之间，工作十分忙碌。这期间，敌对势力也加紧了活动。叛军头目陈炯明盘踞在东江地区，时刻都梦想窜回广州。一方面，他进一步与北方军阀曹锟、吴佩孚勾结，阴谋南北联合，夹击广州；另一方面，他与林虎、叶举、洪兆麟密谋，策划围攻广州。
1924年7月，盘踞在粤北地区的林虎，在陈炯明指使下率部向南进犯。
惠州叛军同时出动，逼近广州。在这种形势下，孙中山不得不推迟原定的北伐部署，调遣部队反击叛军的进犯。7月30日，孙中山电饬集中于石滩的刘震寰桂军。配合滇军曾万钟师和4个独立旅向惠州发起进攻，并电令湘军一部南下翁源，出老隆，进击林虎部；同时命令建国粤军张民达师，袭击林虎部所属的李易标第七军，以配合桂、滇军围攻惠州。
张民达接到命令后，向廖仲恺提出，请叶剑英回师参战。叶剑英于是迅速赶回二师。
这时，二师经过改编，下辖两个旅。第三旅旅长莫雄，第四旅旅长暂缺，由张民达自兼。二师的任务是，打退叛军李易标部一个军的进攻，并攻占连平据点。
叶剑英弄清敌军态势和二师的作战任务后，随即与旅、团长们商讨进军路线。根据侦察得来的情报，他提出采取奔袭的方法，翻越艰险的青云山，北上英德、翁源，再折而向东，绕到敌侧后袭击敌人，张民达赞同这一作战方案。
第二师在张民达、叶剑英率领下于8月初集结于花县，接着乘火车抵达英德、河头。然后轻装前进，经大镇、翁源、龙仙、南浦、陂头一线，经过7天艰苦行军， 23日晚进抵桃花坪之水浸。部队没有停留，在夜幕的掩护下，沿着崎岖的山路急进，直抵连平城郊。此时，守敌毫无察觉，城门紧闭，犹在睡梦中。24日拂晓，张民达、叶剑英率部冒雨向连平城发起进攻。
先由炮兵向城墙防御工事进行炮击，接着，步兵向城内发起冲击。敌人从睡梦中惊醒，慌忙还击，乱成一团。至天大亮时，守城叛军大部被俘，李易标率残部逃往江西。
连乎大捷，震撼叛军。惠州叛军头目杨坤如等闻讯，龟缩驻地，不敢再出兵。这样，陈炯明重返广州的美梦又一次破灭。
战后，二师奉命返回广州驻防。
在此期间，孙中山和廖仲恺商定，为了配合黄埔军校的教学，壮大革命军骨干力量，在粤军第二师成立一个独立营，培训一批下层军士。建立独立营，需要一个既有军事理论知识又有实战经验，且能独立完成训练任务的人才。廖仲恺又想到了时剑英，确定要他出任香山县（今中山县）县长兼独立营营长。①张民达对独立营的创建给予大力支持和帮助。叶剑英经他同意后，抽调师部的参谋廖鸣鸥、练惕生、邓良等人组成设营小队，首先办好三件事：一是选定建营的具体地点；二是从工农群众中招募兵员；三是制定训练计划。
叶剑英带领设营小队，赴香山县调查，最后选定靠孙中山家乡翠亨村较近的香洲作为营地。香洲（今珠海市）是香山县最南端、濒临南海之滨的一个小镇。这里三面环水，背靠狮山，群众基础好，是练兵习武的好地方。营地选定以后，他们立即开始组织人力，修建简易营房。在招募兵员问题上，叶剑英一改旧军队“抽丁拉侠”的办法，派人到香山县各地群众中宣传革命军的宗旨，动员农村青年参军。他还亲自出马，率领人员到阳江、电白等粤西一带的贫困地区，招募了几百名新兵。不久，全营招到900余名士兵，分编8个连。由练惕生、廖鸣鸥、陈雨荣、邓良兼任教官，并请二师师部参议李公剑任政治教官。8个连长分别由高永卿、王其焕、周绍武、蔡公武、杨志成、曾繁凯、张淑民、曾毓芳担任。这些教官和连长，都是经过严格挑选的优秀革命军官，阵容很是整齐。
叶剑英和教官们一起，借鉴黄埔军校的一些做法，确定独立营实行军事训练与政治训练并重的原则，强调“军以党化，党以军成”，要求革命军人服从革命政党，贯彻革命党的主张和政策，不闹个人意气，不耍军阀作风，不坑害老百姓，努力使自己成为革命军的基层骨干。
叶剑英在创建独立营期间，还时常回到黄埔军校讲课，或到二师指导训练。他身兼数职，日夜奔忙。
后来，独立营与驻在前山的二师缉私营合并，扩大为新编团。叶剑英于1925年5月26日被任命为建国粤军第二师新编团团长，廖鸣鸥、练惕生任副团长，邓良等分别担任各营营长。新编团开始了更加严格的军事训练。
在军事训练中，叶剑英经常以身作则，讲解示范，手把手传授军事技术，和士兵一起摔打。他还十分重视士兵的政治教育，经常到课堂发表政治演讲。
他那生动活泼的言谈，精辟独到的见解，大大启发了士兵的政治觉悟，使他们进一步懂得了“非革命不足以图存”的道理。
香山是广东农民运动发展比较早的地区之一。廖仲恺和谭平山等曾多次去香山参加农民代表会议，发动群众组织农民协会。叶剑英根据廖仲恺的训示，组织独立营部分官兵帮助香洲地区开展农民运动。他经常到乡村访问，了解农民疾苦。他派出陈雨荣、曾繁凯等军官到夏美村与贫农甘金星一起组织香洲地区的农民协会，并参加东坑一带的农会活动。其后又帮助前山、湾仔等地相继建立了农民协会。不久，共产党特派员梁桂华到香山发动上下栅和九区农民，组织农民协会，举行有万余人参加的农民代表会议。廖仲恺和彭湃等特意赶来参加盛会，并在大会上发表了热情洋溢的演说。
叶剑英平时很注重改善部队与驻地政府和民众的关系，严肃军纪，并经①叶剑英谈话记录，1982年4月9日。
常组织军官和士兵到学校和农村、码头宣传孙中山的革命主张，宣传国共合作后的新形势，帮助贫苦农民、渔民做事。当地一些老人至今回忆起来，仍赞不绝口：“当年时参谋长在香洲的队伍不打人，不骂人，不拉伕，不勒索，纪律严明，买卖公平。那样好的军队在当时是很少见的。”
1924年7月，陈炯明指使林虎进攻广州的计划失败后，并未放弃做“粤中王”的企图。他与广州大买办头子陈廉伯勾结，阴谋再一次推翻广东革命政权。陈廉伯联合广州及附近县镇98个商团成立“联防总部”，在各地组织武装，向外商购买大批枪支弹药运往广州。这一情况被孙中山发现。孙中山于是下令扣留了他们的一部分枪械。陈廉怕以此为借口，出动2000多名团丁包围大元帅府，煽动罢市，明目张胆地要颠覆孙中山的革命政权，建立商人政府。
在这种紧迫的形势下，廖仲恺于8月23日以广东省长名义下令通缉陈廉伯，并电请蒋介石速派学生军前来广州市维持治安，同时命叶剑英从香洲迅速返回二师，协助张民达，率部队准备对付商团叛乱。
局势越来越严重。广州盛传：陈炯明、林虎、洪兆麟等反革命军队准备从石龙、东莞进袭虎门，与商团会师。10月10日这一天，广州群众为纪念武昌起义13周年，在观音山举行盛大集会，警告反动商团。担任中共广东区委委员长兼宣传部长的周恩来，出席了大会，并以广东民族解放协会代表身份发表演讲。群众大会结束后，即开始示威游行。不料，反动商团军在太平南路突然向游行队伍开枪，打死20余人，打伤100余人。商团还到处张贴布告，公开要求孙中山下野，欢迎陈炯明回省主持政事。广大工农群众对此义愤填膺，坚决支持孙中山，要求与商团决一死战。叶剑英和二师官兵、黄埔军校革命师生眼看无辜群众受害，心急如焚，一致要求对商团发起反击。
孙中山在中国共产党和工农群众支持下，成立了镇压商团的革命委员会，自任会长，廖仲恺、汪精卫、蒋介石、许崇智、陈友仁和谭平山为全权委员。同时成立有周恩来、杨匏安参加的临时军事指挥部，统一指挥平叛。
10月15日拂晓，孙中山令革命军向商团发起攻击。陈炯明为配合商团的行动，下令叛军进攻虎门。商团军有恃无恐，在西关依托街坊堡垒作为防御阵地，在滇军的暗中支持下，向政府军进行还击，顽强固守。战斗有旷日持久之势。军事指挥部决心以非常手段速战速决，下令各部调炮兵集中火力向西关一带猛烈轰击，同时命步兵迂回至敌人侧后夹击。张民达、叶剑英指挥二师部队担任迂回任务，他们沿观音山麓西南角的德泥路、盘福路、丰宁路至西瓜园一线向西关发起攻击；并派出小分队从横街小巷用竹木梯爬上屋顶越入西关，猛击商团军之背。友邻部队还采取火攻战术，使西关街坊堡垒变成一片火海。商团军的防御阵地被突破以后，纷纷弃械逃窜。陈廉伯等见势不妙，逃至沙面租界英国领事馆，请求避难。至此，商团叛乱被彻底平息。
平定商团之后，叶剑英回到香洲，不时还到黄埔军校讲课，教授兵器学等课程。没过多久，周恩来调黄埔军校任政治部主任。从此，两个出身不同、经历各异的年轻革命者在国共合作的旗帜下走到了一起。周恩来到军校后，立即投入政治部组织建设和思想建设，派优秀的毕业主任连党代表，向教职员和学生灌输革命精神，教育他们不贪财，不怕牺牲，精诚团结，救国救民，实现孙中山提出的武力与民众相结合的建军宗旨，使军校的政治工作日趋活跃，卓有成效。叶剑英在和周恩来的首次共事中，虽然接触不多，但他从周恩来的举止言谈中，看到了共产党人的磊落胸怀和远大抱负，从而由衷地产生了敬佩之情。