冯部孙良诚指挥部队与孙传芳军在鲁西南一带对阵。孙传芳在北洋军阀中素称“治军有方”，全部兵力9万多人，主力部队仍有6万人，作战勇猛。而孙良诚是冯部有名的骁将，二孙部队接触后，杀声连天，战况异常激烈。
孙传芳不知张宗昌部已退，为配合张部，从鲁西侧击蒋军。连破蒋军阵地，连克丰县、沛县，直逼徐州。
蒋介石看到徐州危机，连忙致电冯玉祥告急，尽快派后备部队支援。冯令石友三率全体预备队约1．5万人火急应援，猛击孙军右侧。石友三也是冯部骁将之一，在石军猛攻下，孙传芳军被迫后退，解了徐州之危。又经冯部孙良诚骑兵部队冲击孙军背后，并截断了孙军退路，孙军才连忙后撤。孙良诚、石友三等部乘胜追击。石军攻丰县，击毙孙部军长袁家骥，又在渔台大败孙军。同时，方振武、孙良诚等部也取得胜利，席掖池骑兵部队攻占兖州。孙良诚、石友三、马鸿逵等部攻克济宁。从此，孙传芳部溃不成军，无力应战。4月22日，冯、蒋两军在泰安会师，一周内攻克了泰安。张宗昌悄悄地乘早已准备好的从德国购来的“义威号”铁甲车逃走，孙传芳也被迫离济南北撤。5月1日上午，蒋军刘峙、陈调元、顾祝同等部进占济南。
在这次战斗中，充分表明蒋军的战斗力不如冯军，鲁军的战斗力不如孙军。张宗昌的鲁军大多数由收编土匪而来，部队不听指挥，士兵经常逃散，逃散士兵再回到山上落草为寇。因此有人讥诮张宗昌扩军是化匪为兵，打仗时是化兵为匪。北军孙传芳部经过此次与冯军战斗，也就一蹶不振了。
在京汉路方面，奉军一开始就对山西猛攻，并企图以全力击破冯部在河北作战之部队。奉军与冯军展开了连续不断的激烈战争。鹿钟麟急调刘骥、刘汝明等部北上，加强彰德防线。当战况紧急时，冯玉祥电武汉，由李宗仁派兵到河南接防。于是，将驻豫中的韩复榘部火速调往前线。
冯玉祥为实现“声西击东”的计划，令部队白天浩浩荡荡北进，故意使奉方侦察飞机侦探看到，而夜间却再令部队稍稍南撤。奉方上了当，以为南方北伐军主攻兵力集结于西线，于是，只以张宗昌、孙传芳残部御东线，而将奉军主力集结西线，集中兵力猛攻彰德，施用飞机、大炮狂轰滥炸。冯军据壕死守，沉着应战。韩复榘部有师长3人受伤，旅长2人受伤。韩本人也受伤。
东线直鲁军和孙传劳军败退，影响到西线战局。冯军由彰德方面全线反对。5月1日夜，奉军因东线济南失守，惟恐被截后路，才全线退却。冯当夜下令，全线追击，3日攻克顺德，5日进占大名，各路奋勇追击，势如破竹。
蒋介石率总司令部于5月1日进入济南，日本军第6师团于次日侵入济南，设立司令部，对国民党北伐军肆意武装挑衅。日军向蒋军的两个营发动攻击，蒋军1个营被消灭，另1个营也损失惨重。蒋军被迫还击，压倒了日军的气焰。但日军师团长福田，逼迫蒋介石下了停战令。3日夜，蒋又严令驻在商埠的军队全部撤退，同时派外交部长黄郛和日方和谈，蒋又遵照日方要求，严令蒋军不许还击。于是日军乘机大肆屠杀中国军民，奸淫劫掠，并将蒋介石的战地政委会外交处主任蔡公时割耳、割鼻、挖眼。随时聚市民刺杀取乐，并不准市民关门，以便日军入宅强奸妇女。市内军民死伤近万。蒋军将士群情激愤，士兵寻杀日军，几位军、师长请战，要求全歼此股日军。蒋介石迅即召开军长以上军官会议，严禁还击，取“忍辱负重”方略，命令部队绕道渡黄河，继续北伐。
5月5日晚间，蒋介石仓皇逃出济南城。6日，蒋介石与黄郛乘马绕道逃到党家庄车站。冯玉祥也从河南前线赶到这里。蒋、冯在清真寺中举行会议，黄郛、王正廷、蒋作宾、杨杰、杨永泰等参加会议。蒋提出放弃北伐，与奉张划江而治，分“南北朝”。多数人反对这项主张，而冯玉祥反对放弃北伐最烈。会议决定济南问题以外交方式办理，蒋暂返南京主持一切，军事由冯指挥，绕开济南，继续北伐。
5月10日，南京政府推谭延闿乘车北上，阻蒋南行。南京政府认为，奉鲁军已经无力继续作战，张作霖于9日下了停战撤兵的命令，北伐任务很快就可完成。如果北伐军退回南京，必然会引起军事上和外交上的更大变化，南京政府将因此而全盘瓦解，连江南半壁苟安的局面也不可能维持下去。谭延闿和蒋介石在兖州举行了重要会议。会议决定继续对日妥协，绕道北伐。
兖州会议后，国民党军绕道渡过黄河北进。蒋介石有意将冯、桂、阎3部都推上北进的第一线，既限制冯的指挥权，又可造成三者之间的矛盾，以便由蒋从中控制。
5月21日，蒋介石、冯玉祥、白崇禧等在郑州会商军事，决定第一集团军沿津浦路北进；第2集团军由津浦路以西、京汉路以东地区北进；第三集团军，北面沿京绥路向东、南面沿正太路向东，转京汉路北进；第四集团军沿京汉路北进。冯、阎、桂集团军首领都有“先入关者为王”的打算。
冯、阎本来商定两军并肩前进。当阎军打到离保定不远的方顺桥车站附近时，战事进入紧张阶段。阎军伤亡惨重，要求冯军韩复榘部向前推进，以牵制敌军，解阎部之危局。但韩忽然接冯密令，率部撤向石家庄，使阎军右侧背受到敌军威胁。阎军告急时，冯却按兵不救。这实际上是冯对阎在南口战役对冯恩将仇报的报复。桂军开上去解救了阎部之危局。
但冯部的这一部署，却给了阎后来独霸河北和京、津两市的大好机会。韩复榘奉命后撤后，第四集团军白崇禧部，也进至石家庄。冯见阎军占保定后欲进取京、津，急忙又命韩复榘部急速北进，企图抢先占领北京。冯为了鼓励士气，迅速进军，曾效法管仲作歌要士兵唱着进军。
奉军于5月19日放弃张家口。30日，张作霖召集张作相、孙传芳、杨宇霆、张学良举行会议，决定即日下总退却令，第一步放弃保定退守琉璃河，并请王士珍组织维持会维持北京治安。王士珍等电请南京政府和平接收京津，避免继续用兵。
6月1日，张作霖在居仁堂接见各国公使，随后又传见北京商会会长，告以本人即将离开北京，政务交国务院代行，北京秩序请王士珍负责维持。
次日，张作霖发出通电，借口内战牵动外交，而历年来全国人民饱尝内战之苦，因此即日率部退出北京，政务交国务院摄行，军事由各军团长负责，此后政治问题，仍请国民公决。
张作霖是日本帝国主义在华的一个傀儡，当时主子一见奴才不肯继续为其效劳，便决心除掉他。张作霖对日本也产生了怀疑，为了保障安全，打算乘汽车取道古北口出关，但因公路坎坷不平，张难受颠簸之苦，张作相担保由北京至榆关一段，沿途军队严密设防，不致发生意外。吴俊升也担保由榆关到沈阳一段的安全。因此，张作霖决定仍乘火车回奉。
张作霖又布下疑阵，宣称6月1日出京，京奉路备有专车升火待发，但又改期于2日启程，而2日仍留在北京未走。3日上午，他才人不知鬼不觉地上了火车，留杨宇霆、张学良在北京与阎锡山的代表接洽，等待晋军和平入城接收。
4日5时半，张作霖所乘专车行到沈阳西北六里皇姑屯站，突然炸弹爆炸，南满路铁路桥被炸坍塌下来，专车从4号到7号炸成粉碎，张作霖受重伤未死，同车的吴俊升则登时气绝毙命，吴俊升被炸得腹破肠出，脑浆迸流。血肉模糊的张作霖被人从破轮碎铁中抬出来，又被抱上汽车开回沈阳，已经昏迷不醒，当日16时身死。
事件发生后，日方采取一切措施掩盖炸车案真相。日本人炸死张作霖后，于当日夜晚将溥仪严密保护，携他由天津潜往大连，准备用他代替奉系军阀，使东三省脱离中国版图，而另建傀儡王国。
蒋介石背着冯玉祥、李宗仁等于5月30日到石家庄与阎锡山会晤，与阎秘密达成政治交易，即蒋将京、津和河北省的军政大权交给阎，以换取阎对蒋的统一领导的支持。6月2日，蒋又返回新乡与冯会晤，借口列强各国对冯无好感对阎有好感，宜由阎接收京、津地区。冯表面上同意蒋的安排，但内心颇不愉快。
虽然蒋已任命阎接收北京、天津，但冯却以为，自古以来攻城掠地总以“先入关者为王”。因此，冯令急先锋韩复榘自彰德率2万余人，兼程追击敌军，仅3昼夜，徒步行程800里，真乃急行如飞。
当韩复榘部到达南苑时，阎锡山的先锋部队徐永昌部尚未抵卢沟桥。韩复榘不失时机地选拔300余精干人员，乘汽车抢先入北京。但是，王士珍却以蒋介石已指令阎部接收北京为由，拒绝韩部接收北京，韩部300余人只得撤回南苑。韩愤愤不平。
老奸巨滑的阎锡山已向北京上层社会和洋人打通了关节。阎锡山与日本驻屯军进行勾结，日军驻屯军司令新井担保阎军进北京、天津不用再外一枪，垂手可得。
6月8日，阎锡山部商震、张阴梧军开进北京城。北京改为北平。同一天，阎锡山在保定就任京津卫戍司令职，阎命傅作义为天津警备司令，商震为河北省政府主席，张阴梧为北平卫戍司令，赴戴文为察哈尔都统，徐永昌为绥远都统。阎锡山的势力范围扩张为晋、冀、察、绥4个省区及平、津两大城市。
在蒋、冯、阎、桂4派联合打败北洋军阀的过程中，冯军最强，付出的代价也最大，起了主力军作用。阎部最弱，而桂系投入战场较迟，投入的军队数量也少。若论功行赏，冯部应得到最多的奖赏。但是，蒋介石却把接收北京、天津的任务给了阎锡山。冯部经五原誓师，转战万里，历尽艰苦，才打到北京城下，却被拒之北京城外，蒋介石这样做是为了制止冯部力量的增长，而采取以阎抑冯的手法，即将北方大权都交给阎，以制止冯部实力的发展。
冯玉祥仅分得北京特别市市长和崇文门统税局一所，每月收入约20万元，但这个数目对于拥有40多万军队的冯玉祥来说，简直是杯水车薪，无济于事。冯不能不耿耿于怀，表示沉默反抗。
阎锡山一时得意洋洋，在封官晋级的同时，连日大宴宾客，并登报宣扬。而蒋介石的门徒们则大肆鼓吹这位蒋总司令的功勋，为其独裁造舆论。白崇禧率部进至京津后，本也打着足足捞一把的主意，不料冯阎为争地盘已起争执，蒋又只给白在新设立的北平临时政治分会中一个委员的空名，京津肥缺一无所得，甚至连个正当立脚的地盘也没有，不免使白心生怨愤。而蒋则乘冯、阎桂之间不睦加深，不失时机地开始推行其蓄谋已久的“强于弱枝”政策。
蒋介石为了以退为进，当北平、天津接收工作就绪后，于6月9日，自导自唱了好几天辞职表演，表示要把军权奉还政府，请辞北伐总司令职、军委主席职、中央政治会议主席职。随之，国民党和政府中的一批人也纷纷要求辞职，在一股辞职风席卷而来的时候，冯玉祥首先出来对蒋表示挽留。冯在挽留的电报中，要蒋效法先贤，以诸葛亮为样子：“昔武侯鞠躬尽瘁，江陵任劳任怨，绝不闻其中道求去。我弟此时，应法先贤。”随后挽留蒋的电文由四面八方纷飞而来。阎锡山、白崇禧、李宗仁、李济深纷纷通电挽留蒋介石。挽留呼声愈高，蒋的辞意似乎愈坚。终于在一片恳请挽留声中，蒋看火候已到，于6月17日声言，他已打消辞意，仍将军事负责到底。
蒋介石便开始进攻，以中央政治会议名义决定由何成浚接收北平军事机关，由易培基接收北平故宫博物院，以李石曾为北平政治分会主席。这就大大限制了阎锡山的实权，因此引起阎的不满。阎提出辞去京津卫戍司令之职，以示反抗。
蒋介石准备在北平召开善后会议，冯玉祥托病复电不来参加。蒋请李宗仁居中调处。李宗仁派人劝冯“顾全大局，扶病北上”。蒋又绕道武汉同李宗仁一起经郑州，邀冯一起去北平参加善后会议，冯仍婉拒。蒋到北平后又派张群等人迎接冯玉祥，冯才于7月6日抵北平。
蒋介石决定玩弄祭灵花招，举行4总司令祭灵盛典，一方面想利用祭典，树立起自身作为孙中山合法继承人的形象，一方面想借此将冯、阎、李邀集一起，以会商善后为名，讨论裁兵。
蒋、冯、阎、李以及南京政府的一批党政要员前往北平西山碧云寺孙中山灵前，举行祭告典礼。由蒋介石主祭，李宗仁、冯玉详、阎锡山任襄祭。当瞻仰孙总理遣容时，蒋介石抚棺恸哭，热泪如丝。冯、阎2襄祭也频频擦泪，状至哀伤。蒋一直哭个不停，当冯走上去劝慰时，越劝，他越哭得悲痛。大家等得不耐烦了，有人骂道：“这才显出他是嫡系呢。我们都不是嫡系。叫他哭吧，我们走了。”蒋介石听到此话，才连忙止住哭，盖棺散会。
当晚蒋介石、冯玉祥、阎锡山、李宗仁、李济深、李石曾、蔡元培、张静江、吴稚晖、李烈钧、戴季陶等人在碧云寺旁李石曾住宅开谈话会，又称汤山军事善后会议。
会上讨论了地盘分配问题，既承认各集团军原有地盘，又根据北伐胜利所取得的原北洋军阀的地盘，作了新的分配，决定蒋之第一集团军占有华东、东南等地区；冯之第二集团军占有鲁、豫、陕、宁、青、甘；阎之第三集团军占有晋、冀、察、绥、及平、津；李之第四集团军占有桂、湘、鄂及武汉市。第一集团军显然所占地区是中国最为富饶，交通也最便利。而桂系感到地盘太小，又无海口，甚不满意。冯玉祥因没有得到河北地盘，也不满意，但因北伐刚结束，都不好意思公开争夺，暂时隐忍相安。
蒋介石又抛出筹谋已久的《军事善后案》。冯、李、阎等已看透了蒋的把戏，想好了应付办法，不着边际地东拉西扯，会议开了4天，毫无结果。蒋见一时意见难统一，又让吴稚晖出面，力主各军事领袖另择一僻静地点作长时间商讨，以决军事善后大计。
7月10日晚的会议谓“交换意见”，仍无新的气氛，连吴稚晖也感到不耐烦，讥之“国民党好开会，开会又好议而不决”。李宗仁则干脆直言告蒋：“当此军事结束，建设开始，若不开诚布公，协调内部，刷新政治，以慰全国人民望治之殷切，则恐中华民国，将为本党所牺牲，而我辈亦将为千秋万世的罪人。”
蒋介石听了面露不愉之色，但也情知一时难使这几位集团军司令就范，只得把“裁兵”之议暂且收起。
蒋介石自北平南返后，每晚必与其亲信、谋士聚会共商对付方略。桂、冯、阎各霸一方，桂系在第2次北伐后，从两广、两湖伸展到平津。李宗仁坐镇武汉，白崇禧以第四集团军前敌总指挥之衔驻节津、沽，广西黄绍竑雄踞八桂，另有广东李济深为之呼应，华南、华中、华北南北伸张，成一字长蛇排开，直接威胁华东蒋的统治腹地，气焰更在冯、阎之上，有“势力半天”之称。蒋之谋士、政学系政客杨永秦引用唐朝柳宗元、王叔文向唐顺宗献策削藩的典故，要蒋效法。其办法是：将各实力派领袖调到中央做官，取消各地政治分会，统一整编全国军队，遣散各路“诸侯”赖以活动的资本。蒋欣然接受，视为“安邦治国”的妙策。准备召开国民党二届五中全会，照计行事。
8月8日至15日，二届五中全会在南京召开。蒋在会上抛出两个方案：一是《政治分会存废案》，一是《军事整理案》。然而冯、李、阎均政坛高手，决不会轻易入彀。两个方案抛出后，即刻受到他们齐声反对。对于第一个方案，冯玉祥、李济深搬出两条和蒋对抗的理由：（1）现在取消政治分会，违反四中全会决议；（2）取消政治分会，就会削弱“剿共”力量。李石曾、张静江等元老则搬出总理遗教规定的中央与地方均权，主张暂时保留政治分会，蒋介石无言以对，政治分会只好延期裁撤。至于第二个方案，更为众人反对，蒋只好收回提议，表示将另开编遣会议以贯彻裁兵。
蒋会前精心准备的“削藩策”不仅未能收效，反而惹得各实力派领袖怒气冲天，蒋不免大失所望。
五中全会通过了实行五院制的决议案，推选蒋介石为国民政府主席。五院院长为：
行政院院长 谭延竑 副院长 冯玉祥
立法院院长 胡汉民 副院长 林 森
司法院院长 王宠惠 副院长 张 继
考试院院长 戴季陶 副院长 孙 科
监察院院长 蔡元培 副院长 陈果夫
参谋总长 李济深
军事参议院院长 李宗仁
训练总监 何应钦
行政院（相当于国务院）下设十部：
内政部长 阎锡山 外交部长 王正廷
军政部长 冯玉祥 财政部长 宋子文
农矿部长 易培基 工商部长 孔祥熙
教育部长 蒋梦麟 交通部长 王伯群
铁道部长 孙 科 卫生部长 薛笃弼
五中全会之后，冯、李、阎对蒋的“削藩”已深具戒心，不甘俯首听命，只派个代表到京畿塞职。本人却都返回到自己的基地，蹲在那里作军事备战。
蒋介石知道冯玉祥喜欢受人吹捧，于是就投其所好地说：“希望大哥首创入京供职，以后中央的事务，我当一切听大哥的。只有大哥先到了南京，接受了中央的职务，阎、李他们便不敢不来，大一统的新中国等于是大哥造成了……大哥只要到了中央，绝对办到一律平等待遇，第一集团军吃什么，第二集团军也吃什么！”
蒋介石随即补助冯部一部分军饷。所以冯部从7月份起，每月将官可领到60元、校官40元、尉官20元。蒋的甜言密语加上补助军饷，使冯就范了。他一面要属下将领不要只重视地盘，一面接受了行政院副院长和军政部长的职务，并到南京供职。蒋把冯骗到南京后，却不肯实现军队待遇“一律平等”的诺言。冯为军政部长，却连查看军需署帐目的权力也没有。
冯玉祥既要防范蒋介石消灭异己，又幻想能够和蒋合作共事。但是，尽管他采取捧、拉蒋的办法，结果都无济无事。
张作霖被炸死后，奉系军阀一直封锁这一死讯。这一天，张学良化装成士兵从邯郸前线秘密回到沈阳。