东征以后，蒋介石成了广东政治新秀，蒋在廖仲恺遇刺前后两度遭险
陈洁如原籍苏州，1906年出生于上海，中学文化，能说俄语，1922年和蒋介石结婚，以后随蒋住在广州。国民党一大后，广州国民政府和苏联关系密切，大批苏联顾问住在广州，而广州方面，也一再派人去苏联考察学习，一批高层人物的子女被送去苏联留学。就在蒋介石第二次东征时，由陈洁如做主，送蒋介石的长子蒋经国去苏联留学，蒋经国1925年10月19日离广州赴苏联，直到1937年，才回到中国。
蒋介石自从1918年离开上海去广州追随孙中山，一直是军事参谋人员，并未直接掌握军队。1924年5月黄埔军校成立，同年11月第一期毕业生组成两个军校教导团，才是蒋介石在广东直接掌握军队的开始。1925年初蒋介石率兵参加第一次东征，大获全胜，随后回军剿灭叛乱的杨希闵、刘震寰，成为耀眼的军事新秀，但威望仍不及许崇智。程潜、朱培德、李济深等国民党元老。
孙中山去世后出现的群龙无首局面使蒋介石得以在广州政坛迅速显露头角。孙中山北上时，他在广州倚重的主要是胡汉民、汪精卫、许崇智、廖仲恺和蒋介石几个人，其中，胡、江主要从事党务和政务，许崇智、蒋介石主管军队，廖仲恺主管财政。这几个人在孙中山健在时，由于孙声望太大，在孙中山的领导下，几个人尚能勉强相处，但孙中山去世后，矛盾立即就显露了出来。汪精卫和胡汉民早年曾是密友，后来就闹得有点互不相容了，冲突首先在两个人之间展开。在当时，汪精卫是广州最主张联俄联共的人之一，而胡汉民是最激烈的反对者。许崇智和胡汉民关系比较密切，廖仲恺则支持联俄联共。蒋介石表面支持联俄联共，但内心里反对。
孙中山于1924年11月离广州北上时，任胡汉民为代理大元帅。胡在任“代帅”期间，并无成绩。1925年7月1日，国民政府成立，汪精卫当选为国民政府主席，并兼任军事委员会委员长，事实上取代了胡的地位。这时广州拥护联俄联共政策的国民党左派和右派斗争已趋白热化，8月20日在中央党部门前发生了刺杀国民政府财政部长廖仲恺的事件，国民党中央立即开会，推汪精卫、许崇智、蒋介石组成特别委员会，授以政治、经济、警察全权，负责调查“廖案”。经查廖被刺与他支持联俄联共有关，许崇智不久被蒋介石指为重大嫌疑者，派军包围住宅，许被迫逃往上海。胡汉民三弟胡毅生和廖仲恺矛盾尖锐，廖被刺后，胡毅生被指为重大嫌疑犯，受胡毅生牵连，胡汉民被迫逃离广州避祸。这样经过“廖案”，在广州国民政府的实权人物中，廖死，许、胡出走，只剩了汪、蒋二人。
1925年11月，蒋介石指挥的第二次东征大获全胜，国民政府统一广东，蒋介石的地位愈益升高，声威显赫。1926年1月，国民党第二次全国代表大会召开，蒋介石当选中央执行委员，随后被选为中央常委。1926年2月1日，蒋被任命为国民革命军总监。
孙中山逝世后，由于蒋介石以左派的面孔出现，极力支持联俄联共，使一部分国民党右派人物也以为他是左派，“廖案”发生前后，蒋介石两度遇刺。
第一次是他从黄埔军校回广州的军校办事处，途中他的车坏了，就改乘侍从的车，先回去了，留下侍从们修车。侍从们把车修好后，就驾车追赶。蒋介石的车子上插有青天白日旗，极易认出。当车走到广州东坡楼附近时，当地驻军突然向车开枪射击，车被打翻，两个侍从当场被击毙。
广州东坡楼附近驻扎的是梁鸿楷部，蒋介石到达军校办事处后，立即将梁鸿楷找去，命令他扣押井审判责任者。经查此次谋杀是梁鸿楷部旅长杨金龙指使，梁立即将杨扣押，并将杨旅调出了广州城。
第二次是在蒋的住宅附近。这时蒋介石和陈洁如住在广州东门外东山的小洋房里，和廖仲恺住在一起，两家同走一个大门。一天，蒋介石坐车刚到东门，侍卫便发现了两个行迹可疑的人，这两个人刚抬手，尚未来得及射击，侍卫就先开了枪，两个刺客被当场捉住。经审问，刺客是蒋介石平定商团叛乱时的老对头陈廉伯所派。因有这次的教训，蒋介石在此不敢再住，就搬到戒备森严的长州要塞去了。1926年3月20日，蒋介石制造了“中山舰事件”，使得广州的国民党左派、共产党同国民党右派的斗争白热化。
“中山舰事件”后，汪精卫被迫离开国民政府，前往法国，国民政府主席由谭延闿代理。5月，国民党二届二中全会召开，由蒋介石主持。会上，蒋介石提出并主持通过了《整理党务案》，出任军事委员会主席、国民中央组织部长、军人部长。会后，又被推为国民革命军总司令。国民党的中枢大权，几乎已为蒋一人独揽。蒋介石自己曾得意地自言自语道：“党国危难，惟吾一身当之，小子可不自勉？”
蒋介石转而支持1926年立即进行北伐，是由于李济深和李宗仁答应推他为总司令
李宗仁、黄绍竑的定桂讨贼军在平定广西时，就得到了广东方面驻守梧州的李济深部的大力援助。平定广西后，黄绍竑和白崇禧赴广州，经和国民政府协商，广西军队编为第七军，由李宗仁担任军长，黄绍竑任党代表。第七军是国民革命军中这时最大的1个军，全军辖9旅21团另加炮兵营和工兵营。
正在这时，湖南发生了唐生智驱逐省长赵恒惕的事。赵恒惕本是湖南省长，下辖贺耀祖、刘鉶、叶开鑫、唐生智4个师。4个师长，表面上是赵恒惕的部下，实际上各行其是。在4个师中，唐生智的第四师实力最为雄厚，唐生智早有取代赵恒惕的野心。于是他勾结吴佩孚反赵，同时又怕吴趁火打劫，便请求广西的李宗仁在他出兵攻赵时“派一旅之众，在黄沙河遥为应援”。李宗仁答应照办，一方面又向广东国民政府的汪精卫、谭延闿、蒋介石发电报，认为唐攻赵，吴佩孚一定趁机攻取湖南，唐生智必败，建议乘此时机，援唐北伐。汪精卫、谭延闿联名复电，邀请李宗仁前往广州，共商北伐大计。
在此期间，唐生智已出兵驱赵。1926年3月17日，唐军进占长沙，赵恒惕避往上海。3月25日，唐生智就任湖南“代理省长”，并诱捕湘军第二师师长刘鉶。吴佩孚立即调兵南下，唐军溃败。4月24日，吴佩孚将唐军逐出长沙。唐生智几乎溃不成军，一面率军向广西边境撤退，一面急电向李宗仁求援。李宗仁接电后令钟祖培旅兼程增援。5月初，广西军队到达衡阳，和吴佩孚军发生激战，双方在衡山、衡阳间和涟水一带相持。
李宗仁5月10日到达广州，受到广州各界的热烈欢迎。11日上午，蒋介石自黄埔到李宗仁的下榻处第四军军部拜访李宗仁，下午李即去黄埔回拜，双方讨论了北伐问题。李宗仁满以为广东方面对北伐会热烈支持，没想到谈到后来，蒋介石说：“你初到广州，不知道广州的情形太复杂……现在如何能谈到北伐呢？”经李宗仁一再坚持，蒋介石还是不肯说支持还是不支持，只说他同意李宗仁的见解，但目前实行北伐有困难，并要求李宗仁去了解其他人的意见。
随后，李宗仁拜访了张静江，张态度模棱两可。拜访谭延闿和程潜，谭、程都反对援唐。而苏联顾问鲍罗廷，对此不表示意见，只说：“兹事体大，应从长考虑。”实际上这时苏联顾问和中国共产党也都反对立即北伐。
李宗仁无奈，只得求助李济深，希望得到李济深的支持，就“半开玩笑半正经地向他建议道，你第四军是否可以自告奋勇，抽调两个师先行北上，待稳定湘南、湘东防线之后，我们便可有充裕时间，催促中央决定北伐大计”。没想到意外地得到李济深的坚决赞同。于是二人决定在次日的中央政治会议上，由李宗仁出面讲明此时北伐的利弊，李济深发言响应。
第二天，李宗仁在会上分析了北方军阀的形势和两广的情况，认为应立即北伐。他强调说：“我军已在前方作战，且已挽救了衡阳陷落的危机，刻正节节推进，长沙在望，胜利已见端倪，决不可中途而废。倘仍踌躇不决，吴佩孚必得抽调鄂、赣劲旅增援进攻，我方孤军苦战，势难持久，一有差池，粤桂边境立受威胁，而云南唐继尧和福建周荫人也必伺隙蠢动谋我，若两广四面受敌，前途将不堪设想了。故请中央速定大计，克日北伐。”
李宗仁发言刚完，李济深立即起立发言，同意李宗仁的意见，并表示：“今日北伐实是千载一时的机会，何况唐生智已声明附义，我第七军正在前方作战，并已节节推进。今日北伐已势成骑虎，中央断不可坐视我第七军和唐军孤军作战而犹豫不决。”李济深还提议说：“为免第七军和唐氏部队孤立无援，他愿将驻琼州、高州第四军的张发奎、陈铭枢两师北调赴湘增援，现驻广州城郊的叶挺独立团且可立即出发。”
当天，国民中央政治会议通过北伐建议，并决定任命唐生智为第八军军长。
国民党中央政治会议虽然决定北伐，而且发表了对时局宣言，但北伐并未安排上日程。李宗仁等不及，就经常去黄埔军校，当面催促蒋介石，蒋介石对此很不耐烦。无奈，李宗仁和李济深商定，明确告诉蒋介石“北伐正式出师时，我们自当推举你担任总司令”。不久，二届中央临时全体会议召开，决定北伐，共推蒋介石为国民革命军总司令。6月5日，国民政府正式任命。
蒋介石任总司令后，任命李济深为总参谋长，留守广州。另任命白崇禧为副总参谋长代行总参谋长职权。7月1日蒋介石下北伐总动员令。7月9日，蒋就任国民革命军总司令，于广州举行北伐誓师典礼。7月27日，蒋离广州北上。在此之前，蒋介石于5月29日，提出令李宗仁率第七军先行北伐，并支付李20万元军费。李宗仁返桂后，留4个旅看家，率5个旅开入湖南。5月下旬，叶挺独立团也从广州出发北上。
1926年7月北伐正式开始时，参加北伐的国民革命军共有8个军。第一军军长何应钦，下辖5个师共19个团；第二军军长谭延闿辖4个师共12个团；第三军军长朱培德辖3个师共8团2营；第四军军长李济深，辖4个师共13团2营；第五军军长李福林，辖2师共8团1营；第六军军长程潜，辖3师共9团2营；第七军军长李宗仁，辖9旅共21团2营；第八军是原唐生智师。北伐开始时的部署是以李宗仁率第七军5个旅，第四军副军长陈可钰率第四军两个师支援在湖南作战的第八军。第七军留4个旅由黄绍竑统帅守卫广西，第八军留两个师由李济深统帅留守广州。其它第二、三、六军开赴粤赣、湘赣边界防备孙传芳。另外，蒋介石又派蒋作宾去联络张作霖，张作霖答应不给吴佩孚以军事援助。
桐庐一战，陈诚大败孟昭月，从此得了一个“童子军”的名号
吴佩孚和孙传芳并没把蒋介石的北伐军放在眼里。当蒋介石在广州宣布北伐时，吴佩孚还在南口加紧进攻冯玉祥的国民军，等到7月11日北伐军攻克长沙，吴佩孚才发觉势头不对，可此时吴佩孚部主力正陷在和国民军的苦战中，无暇他顾，所以北伐军在湖南进展顺利，并未遇到太大的抵抗。8月，吴佩孚和张作霖联合击败冯玉祥的国民军，冯玉祥部退往绥远，吴佩孚才于8月20日晨率领数万人由保定南下。25日到达汉口，召开紧急军事会议，决定先守汀泅桥。当天夜里，国民革命军第四军已迫近汀泅桥。26日，第四军与吴军陈嘉漠、宋大需、董政国等激战一天。当夜第四军陈铭枢第十二师三十六团团长黄琪翔乘江水暴涨，吴军不备之机偷袭成功，正面叶挺独立团亦发起攻击。27日，北伐军克汀泅桥。8月30日，在李宗仁指挥下，第四、七两军会攻贺胜桥。此时吴佩孚主力第十三混成旅、刘玉春第八师已经赶到，加上陈嘉漠的二十五师及马济、宋大需等军共有10万人左右。当天李宗仁攻下贺胜桥。8月31日，北伐军抵武昌城下。
孙传芳是吴佩孚的老部下，北伐军开始北伐时，他正任皖、赣、苏、浙、闽“五省联军总司令”。孙传芳一直觊觎湖南和湖北的地盘，但由于吴佩孚是他的老上司，加上吴部训练精良，吴又颇精于打仗，所以孙传芳虽心怀鬼胎，却一直不敢对吴佩孚开仗。这次国民革命军北伐，他认为机会来了，想等到北伐军和吴佩孚都打得精疲力乏时，他再出兵，一石二鸟，既打败北伐军，也占了湖南湖北地盘。可没想到吴佩孚部不堪一击，眼看就要失败。不得已，孙传芳于8月份决定援助吴佩孚，发表通电，限期北伐军退回广东。而此时北伐军正进展顺利，湖南湖北唾手可得，蒋介石于8月25日拟定了进攻江西的计划。9月6日，北伐军三路进攻江西：由蒋介石指挥第一、二、三军为右翼，自赣南吉安沿赣江北上，攻南昌；程潜指挥第六军和第一军第一师为中路，自修水武宁攻德安，截断南浔铁路；李宗仁指挥第七军为左翼，从湖北鄂城、大冶一线进入江西。为了配合上述作战，蒋介石又令何应钦、赖世玻部协同谭曙卿进攻吉安、樟树，以便参加会攻南昌的作战。从9月7日起，北伐军的第一、二、三、六、七军及起义的其它部队在江西全境和孙传芳部展开激战。9月27日，何应钦利用孙传芳部主力集中于江西作战，福建空虚之机，率部分三路攻击福建，和福建督都周荫人部展开激战。12月10日，何应钦击败周荫人，进驻福州，周军全部瓦解。12月22日，孙传芳部第一师师长陈仪宣布服膺国民革命、就任国民革命军军长职。1927年1月上旬，陈仪在浙江奉化被周荫人残部和段承泽师击败，陈逃往上海。在此之前的11月8日，北伐军占领南昌。
1927年初，北伐军分三路向长江下游的浙江、安徽、江苏进军。东路军由何应钦任总指挥，白崇禧为前敌总指挥，下辖周凤歧、王俊、白崇禧、冯轶裴、赖世横、曹万顺6个纵队，由福建攻杭州、上海。中央军由蒋介石为总指挥，分两路进军，江右军程潜指挥鲁涤平。程潜、贺耀祖3个纵队进攻皖南；江左军李宗仁指挥李宗仁、王天培、刘佐龙3个纵队牵制安庆孙传芳军，使其不得渡江南下。西路军由唐生智任前敌总指挥，辖唐生智、张发奎、陈铭枢、彭汉章4个纵队和朱培德的总预备队，主力控制在京汉线南段，确保中路军侧翼安全，并相机由武胜关进攻河南。
1927年1月27日，东路军开始进攻，不久即平定浙江南部。2月18日白崇禧部进占杭州。3月21日，在上海工人第三次武装起义后，白崇禧兵不血刃进驻上海。3月22日，何应钦部占领镇江。3月23日，程潜率军攻克南京。这样，长江以南尽为北伐军占有。
北伐前，陈诚正任蒋介石总司令部中校参谋。不久，陈诚在粤军时的老上级，曾任黄埔军校总教官的严重出任预备第一师师长，他非常赞赏陈诚的实干精神，调陈诚为预备第十师第三团上校团长。11月，预备第一师由广州开至韶关，转入江西，加入北伐军行列。
预备第一师由在北伐开始前夕招训的新兵组成。1926年12月，预备第一师到达赣州，改番号为第二十一师，仍由严重任师长，第三团改为第六十三团，由陈诚任团长。此时南昌已经攻下，蒋介石调整部署，准备攻击长江下游各省，第二十一师受命隶属东路军，归前敌总指挥白崇禧指挥。1927年1月初，白崇禧率东路军一、三纵队薛岳、刘峙、严重、陈继承4个师自江西东北部进驻浙江衢州，不久，二、四、五、六四个纵队也在何应钦指挥下进驻衢州附近。孙传芳企图趁东路军刚入浙南立足不稳之机，击破东路军，乃于1月4日在龙游、兰溪一线发动进攻，并派其第三方面军总指挥孟昭月前往督战，东路军被迫稍作后退。1月29日，双方又在龙游的洋埠、游埠一带展开激战，孙传芳的孟昭月、卢香亭二部参战。孟昭月占领游埠高地，以猛烈炮火俯射北伐军，严重督率第二十一师冒着炮火冲锋，突破了孙军阵地。北伐军各部乘势进攻，孙军溃退。孟昭月退向杭州。2月1日北伐军占兰溪，消灭守军2000余人。2月3日攻入严州，13日进至浪石埠。当天孟昭月率3师之众反击，双方在桐庐附近展开激战。孙军进攻被刘峙第二师击退，但过了浮桥，刘峙的第二师已因伤亡过多不能支持。陈诚于是率六十三团在桐庐西北浪石埠过江，背水与孙军苦战。由于孙军人数太多，陈诚率部几次冲锋，都无效果。当夜，陈诚率领特务队、侦察队利用夜暗袭击孙军总司令部。孙军突受袭击，不知虚实，慌忙撤退。北伐军其它各部乘机进攻，孙军败走。
桐庐一战，陈诚六十三团损失惨重。3个营长，赵敬统阵亡，宋希濂、王敬久负伤。连排长伤亡更多。跟随陈诚夜袭孙军司令部的特务队，军官只剩1人，班长也只剩1人。因为在桐庐的战功，白崇禧和蒋介石下令嘉奖六十三团和第二十一师。1927年2月，陈诚升任第二十一师副师长，仍兼六十三团团长。桐庐一战孙传芳部孟昭月损失1万多人，基本上失去了再战能力。2月14日夜，陈诚率部追击占新登。19日，二十一师与第一、第二师占杭州。23日，占嘉兴。3月18日，六十三团占吴江、同里。3月21日午夜，陈诚攻入苏州，第二天追击到常熟，在常熟东门外河下截击直鲁联军张宗昌部毕澄庶军辎重部队和军官教导团，缴获了大量军械物资。4月7日第二十一师集中南京，准备渡长江向北进攻。
北伐军东路军攻占浙江和苏州、镇江、上海一带，陈诚因战功卓著，受到了前敌总指挥白崇禧和蒋介石的嘉奖。因为陈诚个子矮小，人又非常瘦弱，有人就把陈部戏称为“童子军”。
在“宁汉之争”的危难之际，陈诚一句“绝对服从总司令”，使他终生成了蒋介石最亲密的心腹
早在北伐开始之前，在广东革命阵营内部就存在以汪精卫、邓演达、徐谦等人为代表的国民党左派；共产党、苏联顾问为一方及以蒋介石、戴季陶等人为代表的国民党右派之间的斗争。由于蒋介石有战败商团、第一次东征、平定杨刘叛乱、第二次东征之功，又控制着国民革命军的大部分，所以在三方的斗争中，国民党右派占了优势。1926年3月20日“中山舰事件”蒋介石逼走汪精卫、季山嘉，迫使共产党人退出第一军。1926年5月提出“整理党务案”，削弱共产党在国民党中的势力。如此斗争之所以未使广东的国共合作分裂，双方还能各怀心腹事地合作下去，原因有两个方面：一方面蒋介石此时羽翼尚未丰满，还需要国民党左派、共产党的合作和支持。他在发动“中山舰事件”后马上上书国民党中央，自请处分，并未敢把事做绝，主动表示愿重归于好。提出“整理党务案”也是以“消除疑虑、杜绝纠纷”为名义，声称这是为了两党更好地合作。在其它一些场合，他也尽力地伪装成一种不偏不倚、和平中正的面孔，避免把国民党左派和共产党立即逼到他的敌对面去。对苏联顾问，他还需要苏联的武器、物资援助，因而极力容忍。另一方面，共产党、国民党左派、苏联顾问并不掌握武装，到1926年时，他们无力将蒋介石赶下台。蒋介石虽然有些值得怀疑的行为，但还未明目张胆地反对联俄联共，无可奈何，只能忍受。这时在广州的大多数人，目标是北伐，对统一战线内部的分歧，是处于中立的地位，既不支持左派，也不支持右派。这样，在内部存在重大分歧的情况下，各方面还是在北伐的旗帜下维持了暂时的一致。
北伐军攻占江南以后，大敌一去，内部矛盾马上便成为主要矛盾。1926年12月，国民政府宣布北迁，在是定都武汉还是定都南京的问题上，使北伐以前在广州时就存在的矛盾升级。而且随着各方武装力量的变化，产生了新的分歧，除了原来从广东带来的国民党左派、共产党和国民党右派的“主义”之争，蒋介石和汪精卫的权力之争外，实际上更具特色的是蒋介石、唐生智、李宗仁、张发奎、朱培德、程潜、李济深等人的地盘和实力之争。
北伐军进入江西、福建和浙江对孙传芳作战后，留在湖北进攻武昌的只剩第八、四两军，后来由于战事需要，第四军受命入江西支援作战，这就使湖南、湖北两省处在了唐生智第八军的控制之下。他利用这个时机不断地扩充自己的军事实力，先是将第八军扩编为4个军，不久又扩编为7个军。接着北伐的第四军也要求扩编，将张发奎的第十二师扩编为第四军，张发奎任军长；将陈铭枢的第十师扩编为第十一军，陈铭枢任军长；原留在广东的第四军陈济棠、徐景堂两师，改称第八路军，由李济深任总指挥。
蒋介石的第一军也在扩编，除了收编吴佩孚、孙传芳旧部外，蒋介石将新运到广州的全部苏联军援物资都拨给了第一军。其他军需品，蒋也优先照顾第一军。李宗仁回忆说：“各军（北伐）出发以来，例须按期发放草鞋。然总司令部都吩咐，他的第一军每一士兵发给两双；其他各军，却平均每一士兵连一双草鞋还领不到。”蒋介石将第一军看作他的私产，他“意念中总是以第一军为主体。军中一切弹械补充、给养调剂，编制扩展等等，常比他军优厚。例如江西肃清后，严霜如雪，岭南子弟不惯于寒冷气候，多已瑟缩难耐，然后当军毯运到时，蒋总司令即面谕兵站总监俞飞鹏，就第一军伤兵医院优先发给，此外赏赐慰劳银元也照此办理。俞谓：“每一医院中都有各军的伤兵，当如何应付？”蒋说：“不管，不管，他们自有他们自己的军长。”
对战利品，蒋意也想一军独占。马口之役以后，白崇禧将所获战利品运回牛行车站，堆积如山。蒋介石和各军军长前往视察，感到非常高兴。这时白崇禧觉得参战各军损失都很大，当面请求蒋介石将这些战利品酌量分给各军补充。蒋介石未置可否。白崇禧误以为蒋介石已经答应，于是通知各军前来领取。各军得到消息，纷纷前来领取，蒋介石很不高兴，对白崇禧的做法颇为不满。但事情已经这样，也没办法。
各军本来就有为自己打算的想法，企图扩大地盘和实力。而作为总司令的蒋介石刻意壮大自己，消灭或削弱别人的做法，就使本来没有异图的人也对蒋产生了恐惧心理，纷纷为自己打算。到1927年4、5月宁汉之争趋于白热化后，各方矛盾更为尖锐。北伐开始后的8个军，分成了两个主要军事集团：武汉以第四、第八军为主；南京以第一、第七军为主。武汉由于有宋庆龄、邓演达、徐谦、汪精卫等人，在政治上占据优势。而南京方面有战斗力比较强的军队，蒋介石又占据国民革命军总司令的地位，加以江浙财团的支持，南京方面又是占据江苏、浙江、上海、福建、安徽等比较富庶的地区，在军事和财政上占优势。为了在对抗中取得优势，双方纷纷清理内部的不可靠分子，争取中立者。
陈诚在黄埔军校时，就一直埋头军事，不问党派纷争。担任北伐军第一军第二十一师六十三团团长后，师长严重也是一个不过问政治是非的人。严重曾对陈诚说：“我们是军人，带好兵、打好仗是军人的宗旨。目前我们在军校为人师表，言行更要稳重，教好学生军事科目，把握住本部门不出乱子，就是当前的首要任务。政治斗争说穿了不过是一些人利用政治主张，达到个人争权夺利的目的。我们不参与不等于无知，只干我们军人该干的事，本本分分，比为他人摇旗呐喊强得多。”所以严重和陈诚事实上一直未卷入党派政治斗争中。北伐军占领南京后，蒋介石和武汉方面斗争白热化，双方已经誓不两立。严重、陈诚掌握的第二十一师颇具实力，属蒋介石的第一军，是蒋的嫡系。但严重和陈诚与武汉方面的核心人物邓演达都有相当深的关系，邓演达和蒋介石互相敌对，都想控制二十一师，这就使严重和陈诚不想卷入政治斗争也不行了。
邓演达，字择生，1895年3月1日生于广东惠阳永湖乡鹿颈村。1909年，在邓铿鼓励下，邓演达考入广东陆军小学。1911年毕业时，恰值辛亥革命爆发，他曾随当时的粤军援鄂北伐军总司令姚雨平北上。南北议和后，邓回广东，于1912年春进入广东陆军速成学堂。1914年以成绩优异直接升入湖北陆军中学。1916年升入保定陆军军官学校工兵科第六期，1918年冬末毕业，应邓铿之召，到粤军任宪兵连连长。1920年11月，粤军第一师成立，邓演达任该师独立营营长，后转任工兵营营长。1923年2月，第一师扩编，邓演达任第一师第三团团长。1924年黄埔军校成立，邓演达任教练部主任兼学生总队长。1926年1月国民党第二次全国代表大会后，出任黄埔军校教育长，主持黄埔军校具体事务。
邓演达在国民党中，可以说是左派中的左派。他坚决支持孙中山的联俄、联共、扶助农工的三大政策，主张“耕者有其田”，这和蒋介石之间产生了巨大的分歧，蒋邓在黄埔军校内部问题上也产生了争论。1926年3月20日“中山舰事件”发生后，邓演达亲赴蒋在广州东山的寓所，要求蒋以大局为重，和进步力量站在一起。事后，蒋调邓为黄埔军校潮州分校教育长，邓虽深为不满，为避免矛盾再度激化，于1926年4月前往就职。北伐开始后，邓演达出任国民革命军总司令部总政治部主任，和国民党左派，共产党人的接触更多，使他的思想更加倾向革命。对于蒋介石此时打击国民党左派，清除共产党的行为，他认为蒋已“迹近成为反革命”。
北伐军攻克武汉后，邓演达除担任总政治部主任、湖北省政务委员会主任职务外，又担任北伐军总司令武汉行营主任，这使他成了武汉政军方面的一号人物。他在武汉继续扩大和加强国共合作，推动工农运动，打击封建势力和帝国主义势力，这使蒋介石对他更为不满，双方矛盾已不可调和。
陈诚、严重和邓演达都是保定军校的毕业生。严重能入粤军第一师，是由于邓演达的引荐；陈诚入粤军也是投奔邓演达，二人都长期在邓演达手下工作。1927年4月，第二十一师开赴南京，此时宁汉之争正烈，邓演达致电严重，询问他对宁汉之争的态度，言之意下，颇想得到严重的支持。严重回绝了邓演达，称：“打倒帝国主义，打倒军阀是我们北伐的目的，现在帝国主义军舰还停在下关江面，北洋军阀尚盘踞在江北，我们的革命任务尚未完成，仍须团结一致继续努力。”严重的回电既回绝了邓演达，同时也向邓表明，他也不支持蒋介石，只支持北伐。
蒋介石非常熟悉严重和邓演达的关系，知道邓严有函电往来，就召严重询问，严也就老实地把他和邓函电的情况告诉了蒋，蒋听后，很不高兴。蒋介石一直怀疑严重左倾，但他又知道，严为人非常正派稳重，严又曾任过黄埔军校总教官，战功显赫，在黄埔学生中声望很大。蒋介石既要清党，又怕邓演达拉走第二十一师，尽管他本人对严相当信任，但由严任二十一师师长，鉴于严和邓演达的亲密关系和带左倾色彩的思想，他的行动显然会受到严重的妨碍。于是蒋介石就打算调开严重。可由于严重在黄埔学生和二十一师中相当有威信，强将严重调开，难保不生事变，李宗仁就给他出了个“快刀斩乱麻”的主意，把“第七军调一部到南京附近，监视沪宁路上不稳的部队，使其不敢异动；然后大刀阔斧地把第一军第二师中不稳的军官全部调职。等第二师整理就绪，便把第二师调至沪杭线上，监视其他各师，如法炮制。必要时将薛岳、严重两师长撤换，以固军心”。万一严重不服，李宗仁还打算以第七军强行将第二十一师解散。蒋介石接受了李宗仁的建议，为避免二十一师被解散，严重托病辞职，并保举副师长陈诚为师长。
第二十一师是蒋介石的嫡系，其军官大都是黄埔教官或黄埔学生出身。解散二十一师不到万不得已的最后时刻，蒋介石是不会采取这一步骤的。严重辞职，使蒋在二十一师清党的障碍已除，第二个目标就是看新师长是否忠于他了。蒋介石对陈诚的政治态度并不明了，在同何应钦仔细研究后，决定召见陈诚，当问及陈诚的态度时，陈表示“绝对服从总司令”，蒋大加赞赏，于是任命陈诚为第二十一师师长。
自陈诚投奔建国粤军时，就一直在严重部下。严重对陈诚督导提携，他的作风深深影响陈诚，二人私谊非常深厚。1927年4月11日，蒋介石在上海发动“四·一二反革命政变”的前一天，严重将第二十一师师长职位移交给了陈诚。在严要走时，陈诚眼中含泪地对严重说：“师长！你走了我是没有法子干的。”陈诚在二十一师中，资历是很浅的，1927年2月桐庐战胜后，才升为副师长，至此才刚两个多月，而且陈诚个小体弱，一点没有将军的派头。但严重对他非常信任，安慰他说：“这是一个革命的军队，你要好好地维持下去，我虽然离开，仍当尽力帮你的忙。”当即命令参谋长罗卓英、军需处长赵志尧即日将师部积余现款10万元移交给了陈诚。这样，在严重的支持下，陈诚终于坐稳了师长的交椅。
蒋介石被迫下野后，终于得到了他久已敬仰的宋三小姐
1927年4月1日，当宁汉之争正处于白热化的阶段，汪精卫由欧洲回国，抵达上海。4月3日，蒋介石致辞欢迎汪精卫，表示拥护汪精卫领导一切，但劝江不要去武汉。李宗仁和白崇禧等人也兴高采烈地拜会汪精卫，认为汪精卫“一旦恢复领导，则党内纠纷，立刻便会烟消云散”。
在“反共”问题上，汪精卫和南京方面并未取得一致。吴稚晖、蔡元培、李石曾、钮永键、蒋介石、宋子文、邓泽如、古应囗、张静江、李济深、李宗仁、黄绍竑等一致要求汪氏留沪领导，并“裁抑共产党的越轨行动”。而汪氏则始终袒共，一再申述总理的容共联俄及工农政策不可擅变，同时为武汉中央的行动辩护。1927年4月5日，汪精卫和陈独秀联合发表了《国共两党领袖汪兆铭、陈独秀联合宣言》，宣言声称两党将携手合作，绝不受人离间中伤。随后汪精卫离开上海，于4月10日到武汉，任国民政府主席。
汪精卫自1926年3月“中山舰事件”被蒋介石逼离广州后，对蒋恨之入骨，一有机会，便要反蒋。汪精卫此时在国民党内，甚有声望，他来到武汉，武汉在政治上更为有利，而和南京的对抗，再次升级。4月12日，蒋介石在上海、南京等地发动反革命政变后，4月17日，武汉方面宣布开除蒋介石党籍，免去其本兼各职，下令蒋介石的第一集团军改归军事委员会直接统辖，同时通缉蒋介石，“着全体将士及革命民众团体拿解中央，按反革命罪条例惩治”。
在宁汉争斗中，武汉方面以国民党中央和国民政府的名义相号召，师出有名，名正言顺，在政治上是处于有利地位的。为摆脱被动局面，4月17日，蒋介石召开中央政治会议，决定定都南京，取消武汉国民党中央和国民政府，选举胡汉民为国民政府主席。这次蒋介石拉胡汉民，想借胡在政治上的声望和江分庭抗礼；而胡也想借蒋的实力东山再起。于是在共同反对汪精卫的前提下，蒋胡互相借重，交易一拍即合。南京政府成立后立即通缉陈独秀、鲍罗廷等197名中共党人和国民党左派人士、苏联顾问。此后双方函电交往，互相指斥。
为了取得政治上的声誉，武汉和南京又都宣布北伐，目标是孙传芳、张作霖、张宗昌的联军。4月19日，武汉方面在武昌东湖举行北伐誓师大会。4月21日，武汉军队沿京汉铁路向开封进攻。5月1日，南京政府正式下令北伐，所辖各军分为三路：第一路由何应钦为总指挥，任务是待第二路由安徽北渡长江成功后，从镇江渡江，沿大运河向北攻击。陈诚的第二十一师此时随第一军驻镇江。第二路由蒋介石自任总指挥，陈洞天为前敌总指挥。第三路军以李宗仁为总指挥，任务是接应第二路，向徐州进攻。
5月7日，第三路渡江成功，李宗仁部连战皆捷，于5月22日占蚌埠、6月2日占徐州。蒋介石第二路军于5月11日渡江成功，孙传芳北撤，第一路和第二路未经大战便冲到陇海线。在此前后，武汉方面也已在临颖击败奉军主力张学良部，占领开封、郑州。冯玉祥部向东进占洛阳。
武汉、南京虽几乎同时北伐，但内争仍然未息。冯玉祥此时进入河南，也加入了宁汉之争的行列。冯玉祥因为地位超然，而且实力强大，成了武汉、南京竟相争取的对象。1927年6月9日，汪精卫、谭延闿、唐生智、邓演达、张发奎等与冯玉祥在郑州开了三天会，决定将河南交冯玉祥，武汉的国民军唐生智、张发奎部撤回武汉。汪精卫此举，一方面是为了拉拢冯玉祥，另一方面也是为东征蒋介石做准备。但冯玉祥首鼠两端，取了河南地盘后，并未表示支持武汉方面。6月19日，蒋介石、冯玉祥、李宗仁等在徐州开会。会上冯劝宁汉合作，共同北伐。会后，蒋介石召开军事会议，蒋力主回师西上，“先把武汉解决了再说”！由于李宗仁等人反对，南京方面继续北伐，6月25日占峄县，27日入临城。
此时武汉方面正积极东征，蒋介石忙令李宗仁回南京，共商应付办法，最后决定第七军南撤，准备应付武汉方面的进攻，其它各军退守徐州。正在此时，武汉方面内部发生了变化，由于爆发了工农运动，使共产党人在武汉首先受到军队方面尤其是中下级军官的反对。三十五军军长何键纵容部下许克祥发动“马日事变”。5月31日，中共发动平、浏、茶、醴四县农民四万余人，围攻长沙，未能攻入城内，这使武汉的一部分国民党左派看了害怕，公开表示“反共”，这在以前的武汉方面高级军政人员中是没有的。在此前后，邓演达被迫出国。6月1日，共产国际代表印度人罗易将共产国际给中共的信件，先送给汪精卫看，文中大有由共产党取代国民党之意。，汪精卫看后大怒，认为：“斯大林的指示，随便实行哪一条，国民党就完了。”于是决定“反共”。由于武汉内部国共斗争的产生和加剧，使武汉方面暂时延缓了东征，开始清理内部。7月15日，汪精卫宣布分共，而在此之前的7月13日，中共已宣布退出武汉政府，并开始策划武装起义。8月1日南昌起义发生，武汉政府严令第二方面军司令张发奎将其消灭。张发奎部的二十军贺龙、第四军二十四师叶挺的起义，使二方面军处于分崩离析的状态，自此，张发奎部实际上也脱离了武汉政府。张发奎部和唐生智部是武汉政府的军事支柱，张发奎部的脱离，使武汉方面实力大减。张发奎追击南昌起义部队进入广东后，又和广东第八路军李济深部发生了争斗。
武汉分共使蒋介石大为高兴。但此时由于宁汉之争使南京方面北伐主力南撤，对孙传芳的战事又处于不利局面。7月24日徐州失守，败讯传到南京，蒋介石不顾李宗仁的反对，决定反攻徐州，并声称：“此次不打下徐州，便不回南京。”7月25日蒋专车北上，29日大举反攻，蒋亲自率部与孙传芳、徐源泉激战。8月初，蒋军被孙传芳部包抄袭击，大败。跟随蒋作战的陈诚二十一师，在徐州云龙山掩护总撤退，几乎全军覆没，六十一团被打垮，六十二团和六十三团兵员损失超过一半。大败之后，蒋倭过于前敌总指挥第十军军长王天培，将其扣押枪决泄愤。
武汉内部因国共内争引起分裂，实力大损，蒋介石徐州战败，孙传芳大兵迫近南京，并未缓和武汉和南京的争斗。这时南京各大员和李宗仁等实力派主张武汉、南京摒弃内争，共组国民政府。汪精卫不反对“宁汉合流”，但前提是“蒋介石必须下野”。汪精卫这一招，非常厉害，立即把蒋推上了是顾大局还是保个人地位的非常尴尬的地位。
蒋介石在徐州战败之后，南京方面也起了变化。何应铁早对蒋颐指气使的作风不满，李宗仁、白崇禧对蒋也有点看不惯。北伐军在徐州战败后，王天培被杀，使李、白、何更认为蒋刻薄寡恩，对王之死，大有免死狐悲之感，总怕有那么一天，蒋介石把替罪羊找到自己身上，也就是从此时起，确定了何应钦与蒋介石二人之间以后若即若离的关系。
面对汪精卫以蒋介石下野作为宁汉合流的条件，蒋介石本不打算妥协。但南京的元老们，大都认为蒋介石下野，汉方就迁往南京，以南京为首都，事实上等于是将武汉的国民党中央和国民政府解散，是划得来的。军方首要也希望蒋介石下野，8月12日，南京中央执监委会议召开，在会上何应钦和白崇禧一唱一和，都表示蒋要辞职很好。李宗仁也愿意蒋下野，他支持宁汉合流，表示欢迎汪精卫到南京来主持。再加上武汉方面的逼迫，蒋介石于是于8月12日向南京政府提出辞职，8月13日蒋的《辞职宣言》在各报上公布。
蒋介石在下野时，将蒋系力量作了周密的安排，其第一集团军继续由何应钦统带，未有实职的军官由朱绍良负责在上海安排，以免生活无着走失，党务方面的人才，则由陈果夫在上海组织“中央俱乐部”负责招待和联系。
蒋介石8月12日辞职后，回到了老家奉化溪口，住在雪窦寺内。就在政治上最失意的时候，蒋介石决定向宋美龄求婚。
蒋介石和宋美龄第一次见面，是在1922年广州孙中山的家中，蒋对宋美龄一见钟情，并托人中间作伐，表示爱慕之意。但宋美龄对蒋并无深刻印象，“尚未注意及之”。在吃了闭门羹以后，蒋并不死心，仍旧想和宋结合。南京国民政府成立后，蒋仍任总司令，经常到上海西摩路宋宅去见宋美龄，表示爱慕之意。1927年5月中旬，蒋亲自给宋美龄写了封信，派卫士长送到上海面交宋美龄，邀宋到焦山游玩，来同意，于15日到焦山。二人在焦山游玩10天，住在焦山寺。也就是此时，蒋宋的婚姻提上了议事日程。蒋介石下野回溪口小住后，向宋家求婚，在宋家答应婚事后，于9月28日乘船前往日本，29日到长崎。10月3日，蒋介石到神户，此时宋美龄正和她的母亲住在有马温泉大旅社，蒋介石就在宋子文的陪同下到旅社向宋美龄求婚。在蒋介石答应皈依基督教之后，宋美龄的母亲宋太夫人当即允婚。当天，蒋即将定婚戒指送给了宋太夫人。蒋宋定婚后，在日本游历和进行社交活动，到11月10日回到上海。11月26日，蒋来结婚启事登出，12月1日举行婚礼。结婚典礼在上海大饭店举行，蔡元培为证婚人，谭延闿和王正廷为介绍人。
蒋介石对和宋美龄结婚，感到异常高兴，他自称：“余今日得与最敬最爱之宋美龄女士结婚，实为余有生以来最愉快之一日。余确信余今日与宋女士结婚以来，余之革命工作必有进步。余所安心尽革命之责任，即自今日始也。”蒋介石和宋美龄结婚，对他以后的影响确实很大，一是形成了以蒋宋夫妻关系为核心枢纽的四大家族统治；二是自此他和美国、基督教建立了亲密的关系，使蒋在与美国打交道时有了孔宋家族的帮助；三是宋对蒋本人的生活作风、工作作风和处理人事关系的风格都有深刻的影响，宋美龄成了蒋介石处理各种问题的重要顾问和帮手。这些，对蒋介石的影响无疑是巨大的。
蒋介石下野不久，陈诚就被何应铁撤职，从此何陈成了冤家
陈诚受的主要是军事方面的教育，毕业以后历练又不多，在广东和南京期间，并没有形成自己的思想。他一直在行伍中，只担任下级军官，见识不多，也没有发表自己政治主张的机会。而军校和军队的作风，下级军官在大的问题上，形成的习惯就是服从上级。所以严重在时，陈诚是服从严重，严重被迫离职后，他也就只能“绝对服从总司令”了。
陈诚尊敬邓演达和严重，而又同情共产党，思想有“左”的一面；但同时又表示“绝对服从总司令”。这两种事情在当时本是水火不容的，但由于陈诚地位比较低，又只是私下的表态，在他身上竟也顺利地维持了下去。严重离开二十一师时，曾对营长宋瑞珂说：“到必要的时机，团长（指陈诚）将把队伍带到武汉去，你们可先去找教育长（指邓演达）。”可见在严重离开时，严陈肯定对二十一师未来的去向有所决定，而且陈诚肯定也是服从严重的。1927年7月初，由于武汉形势剧变，汪精卫、唐生智等人走向反共，邓演达在武汉立足困难，辗转去了莫斯科。邓演达的出走使严重要陈诚必要时将部队带去武汉的计划没法实现，陈只能老老实实地在蒋手下工作。1927年5月陈率二十一师离南京去镇江，归何应钦指挥渡江北伐。8月上旬归蒋介石亲自指挥，徐州一役几乎被孙传芳消灭。此后，陈部返回南京附近整顿补充。
1927年8月12日蒋介石宣布下野，此时孙传芳刚在徐州附近战败蒋介石不久，追击部队已临长江。他知道南京内部争斗剧烈，蒋介石下野加以徐州新败，军心不稳，乃于8月25日夜，命令部队三路渡江进攻，总部设在六合县。25日夜孙传芳军夜渡偷袭成功，李宗仁立即命令夏威指挥第七军反攻，收复栖霞山。26、27两日，李宗仁指挥第七、十九两军和何应钦的第一军在栖霞山与孙军反复争夺。在栖霞山激战的同时，孙传芳军攻占龙潭。
当孙传芳部偷渡长江时，陈诚部二十一师正在南京驻防。26日，何应钦令陈诚率所部驰援栖霞山。此时正值陈诚胃病发作，接令即坐轿率六十一、六十二团出发，下午到达栖霞山附近，向孙军发起攻击，27日，孙传芳后续部队渡江，会同数百名白俄敢死队，向二十一师反攻，幸得第七军两个师支援，陈诚将敌击退。当夜将栖霞山全部攻克。与此同时，陈诚二十一师驻苏州的六十三团也在白崇禧指挥下参加了龙潭作战。30日，李、白、何指挥国民革命军向孙军发起总攻，陈诚部随左纵队向龙潭西边黄龙山进攻，一直坚持到作战胜利。
龙潭大捷后，陈诚二十一师调往苏州整顿补充。由于在龙潭作战时，陈将作战不力的六十三团团长李树森撤职，遭到一批黄埔军校毕业的军官的反对。副师长孙常钧拉拢黄埔一期毕业的王敬久、王福乾、李芩等反对陈诚，到何应钦处指责陈诚腐化，坐轿指挥作战，何早就不满意陈诚，查明他坐轿指挥作战属实，不管当时陈诚是重病坚持作战，于10月份下令将陈诚免职，遗缺由陈继承接任。此时陈诚胃病尚未康复，于是就卸职去上海养病。
龙潭一战，陈诚抱病作战，战后被何应钦不分清红皂白地解职，从此埋下了何陈不和的种子。
严重将流落上海的陈诚又拉回军界，复职后的蒋介石开始重用陈诚
李宗仁、白崇禧、何应钦合兵在龙潭大败孙传芳后，仍旧主张宁汉合流。为了使武汉方面顺利响应，李宗仁拥护以武汉方面为正统。欢迎汪精卫去南京办公，呼吁蒋介石复职。9月5日，汪精卫偕徐谦、顾孟余、何香凝、陈公博、朱培德、程潜等从武汉到南京，结果见到街上“遍贴反汪标语，辞句极尽尖酸刻薄之能事”。汪精卫对此大为不满，转赴上海。9月12日，由汪精卫、谭延闿和孙科出面，邀请在上海的国民党头面人物开谈话会，决定在三个月内召开国民党第三次代表大会，解决一切党内纠纷。在大会开始前，以各方代表合组的“特别委员会”为党的最高领导机关。
9月15日，特别委员会进行选举，结果蒋介石、胡汉民、李济深：白崇禧、何应钦、冯玉祥、阎锡山、唐生智、李宗仁等当选。9月16日改组国民政府。17日成立新的军事委员会，其中的14名主席团成员为蒋介石、李烈钧、李宗仁、白崇禧、何应钦、冯玉祥、阎锡山、程潜、朱培德等。“特委会”成立后，汪精卫不仅未当上民国政府主席，几乎是毫无所得。所以会后江不再留在南京，返回武汉，回武汉后即宣布反对“特委会”。
“特委会”实际上是桂系李宗仁、白崇禧联合程潜、朱培德及一些国民党元老如“西山会议派”、谭延闿等组成，对国民党内的汪精卫派、胡汉民派、蒋介石派都持排斥的态度。何应钦和白崇禧的私交很深，在逼蒋介石下野时他站在李、白的一边，但“特委会”组成，何应钦也靠边站，未当上特委会中的审查委员。
特委会成立后，李宗仁、何应钦、白崇禧即请严重出任军政厅长。此时陈诚正在上海赋闲，听说严重出任军政厅长，就去见他，将龙潭大战被何应钦免职的事做了解释，严重一直看重陈诚，就去向何应钦解释，并保荐陈诚当军政厅副厅长兼军政厅驻上海办事处主任。此时是1927年的10月。
南京“特委会”不伦不类的样子很快引起各方的不满。胡汉民、汪精卫两大实力人物均拒不与其合作。
1927年11月10日，蒋介石自日本回到上海，此时南京方面李宗仁、何应钦进攻武汉的战争已按近尾声，桂系势力发展兴旺，蒋介石大为不快，乃决定联合汪精卫，将桂系势力驱逐出国民党中央。只是此时蒋宋婚事正在筹办中，蒋介石无力他顾。11月11日，李宗仁、白崇禧联名通电，敦促在广州、上海的国民党中央委员返回南京筹备国民党四中全会。在广州的汪精卫立即表示反对，声称：“南京中央特别委员会之存在，足以妨碍第四次中央全体会议之进行。”提议在广州或上海举行预备会议。谭延闿赞同在上海举行，这样，会议的地址便定在了上海。1927年12月3日，国民党二届四中全会在上海召开，会议一致要求蒋介石复职。1928年1月4日，蒋介石返回南京。且月9日，蒋介石宣布复职。
1927年12月，当京沪一带的政治气候开始不利于李宗仁、白崇禧时，严重离开了军政厅长的职位。军政厅长一职由陈诚代理。1928年3月，蒋介石又任命陈诚兼任军事委员会军事教育处处长。
蒋介石重掌南京政府政权后，陈诚不仅未随严重一起去职，而且又被授予军事委员会军事教育处处长一职，这和1927年4月严重辞去二十一师师长，任命陈诚为师长一事是有本质区别的。任命陈诚为二十一师师长，蒋介石的目的只是为了稳住二十一师，并不是特别看重陈诚；而1928年3月任命陈诚兼任军事委员会军事教育处处长一职，表明蒋介石对陈诚的看重已非同一般了。
北伐归来的陈诚，经何应钦“编遣”，成了光杆司令
蒋介石之所以能于1928年初迅速复职，一方面是由于蒋介石下野后，南京政府处于混乱状态，内部蒋、桂、汪。胡和西山会议派互相倾轧的结果；另一方面蒋介石以北伐相号召，也起到了收买人心的效果。1928年三月9日，蒋介石发表复职宣言，内中也以继续北伐为号召，声称要“歼除奉、鲁军阀，实现总理之遗教，早出斯民于水火”。
1928年2月9日，国民党工届四中全会一结束，蒋介石在事先未通知何应钦的情况下，到徐州前线视察。他突入何应钦的指挥部，解除了何应钦兵权，改任他为总司令部参谋长，留守南京。2月13日，蒋宣布将国民革命军编为4个集团军。
4月7日，国民政府发表第二次北伐宣言，并向各军下达北伐总动员令，随后第一集团军沿津浦线北上，第二集团军沿京汉路北上，第三集团军沿正太路进军，第四集团军由白崇禧率领沿京汉路北上。
第二次北伐开始后，1928年4月，蒋介石任命陈诚为国民革命军总司令部警卫司令。陈诚将原何应钦第一路军特务团编为警卫第一团，由桂永清任团长；以伤兵编成的伤兵团为警卫第二团，由关麟征为团长；以在宁波成立的补充团为警卫第三团，由冯圣法为团长。另外两个宪兵团也归陈指挥。陈诚还兼任总司令部炮兵指挥官，指挥炮兵第一团姚永安部、炮兵第二团杨德良部。陈诚部共有7团之众，一万余人，在当时比一般杂牌军的一个军的实力还强。
1928年4月9日，蒋介石在徐州下总攻击令。按照第二次北伐开始时的战略布置，基本上是以第一集团军沿津浦路北上，经泰安、济南、沧州一线攻击天津；第二集团军担任京汉路以东、津浦路以西的作战任务，东边与第一集团军联系，西边与第四集团军联系，会攻天津、北京；第三集团军出正太路，北上和第四集团军会师北京；第四集团军则沿京汉路，经郑州、新乡，径攻保定和北京。陈诚率炮兵一。二团随第一集团军作战，由参谋长应三山代行警卫司令职。
此时北方军阀张作霖、孙传芳、张宗昌、褚玉璞已经联合，他们决定以张宗昌部直鲁联军和孙传芳部迟延第一和第二集团军的进攻，并趁第四集团军在湖南、湖北还在集中的时机，集中奉军主力，以保定为轴心，将已突出到深州一带的第三集团军阎锡山部一举歼灭。
1926年8月，当冯玉祥的国民军在南口被吴佩孚、张作霖联军打败，撤往绥远经过晋北时，阎锡山下令截击。冯军在晋北的损失，比在南口还大。一些冯军因失去和西撒冯军主力的联系，前进无门，后退无路，而又饷弹两缺，被迫接受阎锡山改编。这种趁火打劫的做法，使冯玉祥对“阎老西”很是不满。
1928年第二次北伐，冯玉祥很有攻占北京的想法，但在分配作战任务时，北京是第三、第四两集团军的作战目标，冯玉祥军属支援地位，但他实际上并未放弃先占北京的企图。阎锡山也想攻占北京，他知道冯玉祥的企图，所以战事一发动，阎不待第四集团军赶上，就急匆匆地发动了进攻，兵临北京城下。但阎军实力远非奉军可比，遂陷入苦战之中。
此时冯玉祥部并无强敌，但冯不仅不前进，反而将部队撤回到原驻博野、安国一带。5月中旬，阎锡山部陷于困境，几乎为奉军三面包围，乃致电冯玉祥求援，请其北上解围。冯玉祥不仅不支援，反通令所部，禁止北上，“擅自前进者，枪决。”好在不久白崇禧率叶琪十二军赶到定县、新东一带，奉军向关外撤退。5月31日，三、四集团军攻克保定，并向北京攻击前进。
4月29日，第一集团军贺耀祖、刘峙等部在泰安以北围歼鲁军，张宗昌部下徐源泉率所部万余人投降。同时，第二集团军孙良诚部、第一集团军方振武部三面包围了济南城，陈调元军截断了胶济铁路。30日，张宗昌弃济南逃往德州。5月1日，北伐军进入济南。不久，即发生了震惊中外的“济南惨案”。
进入二十世纪，日本对付中国的基本政策之一，便是挑起中国内部争端，制造中国分裂，日本趁机渔利。此次看到蒋介石大有统一中国之势，这对日本侵略并吞中国的国策不利，乃决定干预，制造事端，阻止北伐的顺利进行。
1928年5月1日，第一集团军贺耀祖第三军团进入济南。2日，蒋介石在原张宗昌的督办公署设司令部。同日，日军出兵济南，设司令部于济南西门外商埠区。日军将整个商埠区网上铁丝网，垒满沙包，架设机枪大炮。蒋介石通过日本驻济南代总领事西田(田井)一向日方提出通商和撤兵要求，并派外长黄郛和外交特派员交涉，为日方拒绝。福田彦助并公然表示日军此举是受政府指示行事。
5月3日，南京政府驻山东外交特派交涉员蔡公时的交涉使署闯入日军二十余人，先将蔡等捆绑毒打，然后将不屈服的蔡公时和使署外交官割鼻、挖眼、削耳、割舌，最后拖出枪杀。当天，福田彦助将黄郭骗到日军司令部扣押。福田和黄都是日本士官学校同学，威迫黄郭在日方早已拟好的一个文件上签字，黄郭拒绝。5月3日，第一集团军代表熊式辉和第六师团代表参谋长黑田周一，也举行了谈判。熊式辉和黑田是日本陆军大学同学。黑田对熊更为凶恶，要求的条件也最为苛刻：①济南城外商埠不准中国军队通过；②胶济铁路、津浦铁路不准中国运兵；③中国军队退出离济南20里外。熊式辉拒绝签字。当天，日军向城内中国军民枪炮齐施，并将数团人缴械。
蒋介石为避免事端扩大，影响北伐顺利进军，严令北伐军各师师长，约束部队，无命令不得开枪。5月11日，在日军攻击下，北伐军全部撤出济南。整个济南惨案，中国军民死6000余人，伤近2000人。
济南惨案，南京方面委曲求全，深感屈辱。黄郭颇有感慨地说：“日本人没有当我们中国人是人，这种耻辱与残酷，不仅自己从来没受过，恐怕在历史上都不曾有过。”事后因此辞去外交部长职务。蒋介石对此也深感耻辱，他信誓旦旦地说：“如有一毫人心，岂能忘此耻辱乎！何以雪之，在自强而已。”
5月6日，第一集团军第四军团方振武部绕过济南，由雒口镇渡河。随后第三军团贺耀祖和第二军团也渡河北进。5月10日占禹城，13日占德州。6月2日占沧州。3日张作霖向蒋通电讲和，共同抗日。4日凌晨5时，当张作霖的专车经过皇姑屯时，被日本特务河本大作阴谋炸死。少帅张学良临危受命，表示服从南京国民政府。
1928年6月8日，第三集团军商震部进入北京，随后北伐军占领天津。6月9日，蒋介石上书辞国民革命军总司令，11日，又辞国民党中央政治会议主席，以表功成身退之意。
1928年6月中旬，蒋介石邀请冯玉祥、阎锡山和李宗仁到北京参加善后会议。7月上旬，会议召开，决定成立编造委员会，再商量如何裁兵。在会上，蒋介石拿出了一个拟好的裁兵计划，为表示对裁兵的诚意，并决定第一集团军首先裁兵。
陈诚作为北伐军第一集团军炮兵指挥官随军北伐，这一次基本上未参加前线作战。一路上只是：“时闻隆隆炮声”。和时见“路旁之敌人炮弹破片”。5月1日，陈诚随第一集团军方振武军团进入徐州，住在总司令部所在地张宗昌督军署内。蒋介石为避免和日军的冲突扩大，撤出城外后，陈诚所部炮兵由平阴后撤至宁阳待命。“济南惨案”发生后，两个炮兵团随第一集团军渡黄河北进，陈诚率部分警卫部队回到南京。
第二次北伐占领北京、天津后，由何应钦负责编制第一集团军裁减计划。何应钦于1928年8月将第一集团军整编成6个师。陈诚的总司令警卫司令部被撤销，所属3个警卫团编入第十一师，由原第十七军军长曹万顺为师长，陈诚为副师长。
陈诚由大权在握的总司令部警卫司令一裁而成副师长，使他对何应钦更加不满，他曾对人说：“这事情蒋并不知道，何又同我为难了。”从当时的情况看，陈诚由警卫司令一变而成副师长，无论怎么说对陈都是一种贬抑。警卫司令大权在握，独挡一面；副师长只是别人的副手，若想以后有所成就，还要靠机会、靠时间打开局面。