苏联使团布勃诺夫写信给在莫斯科的鲍罗廷说：“中国共产党必须十分审慎行事，……决不能突出自己作为助手和领导者的地位。”
中共广东区委也不得不听从布勃诺夫的意见。3月底，布勃诺夫使团从广州回国路过上海时，向中共中央说：“事变发生时，包围省港罢工委员会、俄人住宅等，都是事实，但也只有这些事实。周恩来、邓中夏并未被捕，均尚在广州，更无杀人事。蒋介石表示他此次举动只是防止有叛乱之事发生，他本人并不反俄反共，……此时蒋氏似已了解共产派确未有谋危政府及蒋氏个人之计划，风波已归平静；惟孙文主义学会一派挑拨离间之举动仍未停止，随时会有事故发生。”
陈独秀一面派张国焘去广州，查明事实真相，一面在《向导》上发表文章，说共产党不是疯子的党，当然不会在广州建设工农政府，蒋介石是中国民族革命运动中的一个柱石，共产党若不是帝国主义者的工具，决不会采用这种破坏中国革命势力统一的政策，挑起这次事变的是在广州以孙文主义学会为中心的国民党右派。陈独秀把中山舰事件的元凶尊为革命的“柱石”，而把事变的喽罗们指控为罪魁祸首。“柱石”自然是不可缺少的，所以当蒋介石于4月7日假惺惺地发出辞去一切军职的虞电以后，陈独秀劝说蒋介石，你的责任是不在自己变成军阀，并努力使国民党及国民政府没有军阀发生，自己个人消极的辞去军职，这是不对的。陈独秀紧步布勃诺夫的后尘，除说了一句幽默讽刺的话“你的责任是不在自己变成军阀”外，就是劝蒋介石不要辞职。
此时的中国共产党完全是按照共产国际和联共（布）的指示办事，不敢越雷池一步。4月29日，鲍罗廷从苏联回到广州，带来了联共（布）政治局的政策，斯大林主张共产党继续留在国民党内，在这种思想指引下，处理中山舰事件的对策，自然是着重检讨中共本身的错误，迁就蒋介石，而不是同蒋介石进行针锋相对的斗争，陈独秀派出张国焘来到广州，采取退让妥协政策。他们认为，不管事件发生的原因如何，总应采取让步的妥协态度来稳定广州的局势。蒋介石既已“先发制人”，共产党舍妥协政策而外，实无他途可循。张国焘和蒋介石大开谈判，对蒋表示：“中共始终支持你，希望彼此仍能精诚无间的合作。”由于陈独秀、张国焘的退让，中山舰事件遂以蒋介石的完全胜利而告终。
蒋介石通过阴谋策计中山舰事件，在对革命力量进行打击得逞后，又步步逼进，于4月3日向国民党中央提出了“整军肃党，准备北伐”的建议，要求在一个月内召集中央全会，“整顿纪律，检查分子”。4月6日，他正式提出一个提案，说：“近来国内政治现状，瞬息变化，本党对于时局问题，亟应确定方针，以资应付。……自前次中山舰事件发生后，外间因误会而发生种种谣言，故对内对外均应有召集全体中央执行委员会之必要。”
国民党中央接受了蒋介石的提案。5月15日至25日，国民党在广州召开二届二中全会，选举谭延闿、蒋介石、谭平山为主席团。会上，蒋介石打着协调国共两党关系的幌子，以消除疑虑、杜绝纠纷为借口，提出了一个《整理党务案》。这个提案共8点，它的主要内容是：共产党应训令其党员对于三民主义不得加以怀疑或批评；应将加入国民党的共产党员名册交国民党中央保存；共产党员在国民党中央和省市党部任执行委员不得超过1A3，且不能充任国民党中央部长等等。
这显然是对共产党的限制和防范。
《整理党务案》还规定成立处理两党纠纷的国共两党联席会议，由国民党代表5人，共产党代表3人组成。这个联席会议显然是蒋介石用以限共、反共的一个工具。因为国民党代表比共产党代表多2人，国民党推选的代表是：张静江、谭延闿、蒋介石、吴敬恒、顾孟余，而共产党的代表迟迟未能选出。
关于国共关系问题，是由蒋介石、张静江、鲍罗廷3人讨论商定。鲍罗廷会前已知道了《整理党务案》的大概内容，他害怕苏联顾问会被驱逐出广州，为了稳定局势，寻求同蒋介石继续合作，他曾要张国焘、谭平山去会见蒋介石，说明中共对《整理党务案》决不反对。蒋介石听后色然而喜，频频表示欣慰。
中共中央派彭述之、张国焘指导国民党二中全会中共党团，在党团会上讨论接受不接受整理党务案。彭述之引经据典地证明不能接受。问他不接受又怎么办？他一点办法也没有，只说大家讨论好了。在讨论时，有人提出意见，他又引经据典地说这个不行，那个错误。讨论了7天，毫无结果。张国焘把他的退让妥协意见拿来，用非常不正派的办法要大家签字接受，结果蒋介石的《整理党务案》获得通过。
在通过《整理党务案》时，国民党左派何香凝、柳亚子、彭泽民，旗帜鲜明地持反对立场。何香凝义愤填膺，拍案顿足，几乎把地板跺裂，她含泪说：
“中山先生去世不到15个月，尸骨未寒，这一伙不肖之党徒为达到其利己主义目的，竟采用这样的手段，这实际上是反共、反对联俄，给工人农民带来不利。”
柳亚子为何香凝鼓掌助威，表示赞同。他怒火满胸膛，却说不出一句话来。当《整理党务案》通过时，彭泽民气得手脚发抖，一句话也说不出来，最后跑到中山先生的遗像前，痛哭一场，表示愤慨之情。
蒋介石等依照通过的决议案，开始一系列限制共产党的活动。在25日的会议上，毛泽东提出辞去宣传部代理部长职务，请另选贤能继任；林伯渠提出辞常务委员会秘书、中央财政委员、农民部长职，请另选继任；谭平山提出辞常务委员会秘书、组织部长职，另选继任。
由于汪精卫已离职出国，在蒋介石一手导演下，会议推选“八面观音”谭延闿任国民党中央政治委员会主席兼国民政府主席，推选半身不遂的张静江任国民党中央常务委员会执行委员会主席，蒋介石自己则担任了中央组织部长兼军人部长，随后他即把组织部长一职让给了他的义侄陈果夫，又让老政客顾孟余当了中央宣传部长，叶楚伧当了中央党部的秘书长。这样，右派在组织上占了极大的优势，不论党的还是政府的实权，都落到了蒋介石的手中。
6月5日，蒋介石又通过国民政府任命，担任国民革命军总司令，把军队的控制权、指挥权拿到手里。7月6日，又担任了国民党常务委员会主席，实现了把国民党的党权、军权、政权集中于一身的目标，形成了国民党就是蒋介石、蒋介石就是国民党的独裁局面。
共产党对蒋介石的态度怎样？6月4日，陈独秀在《向导》上发表给蒋介石的信，说：“从建立黄埔军校一直到3月20日，都找不出蒋介石有一件反革命的行动”，而且表示，“中国共产党若阴谋倒蒋，就应该起来打倒中国共产党；共产党员若阴谋倒蒋，就应该枪毙。”
蒋介石见到了陈独秀写给他的信说，“不要噜噜苏苏，长篇大论的打起笔墨官司来，……我讲的话，并不是对共产党而讲的，故无答复之必要。”
蒋介石在大整共产党之后，反而说与共产党没有关系。其实，哪里是没有关系，不过是不便公开他的反共面目罢了。
虽然蒋介石在政治上、军事上和党务上接连得到3次大胜利，但当时的革命形势还不是不可挽回的，只要共产党善于反击，蒋介石的力量还是可以压下去的。因为到这时为止，蒋介石的嫡系军事力量还只有6个师。总共8个军中，他只占1个军。第二军的党代表是李富春，第三军的党代表是朱克靖，第四军的党代表是罗汉，第六军的党代表是林伯渠。但是陈独秀的右倾机会主义领导在北伐时继续犯了极大的错误，气得中共广东区委书记陈延年大骂他的父亲陈独秀是“老糊涂”、“混蛋！”
在北伐出师前，陈独秀写文章反对北伐。北伐出师前，苏联顾问加伦请周恩来转问中共中央，在北伐中是帮助蒋介石呢，还是削弱蒋介石，这一政治问题如何解决？周恩来到上海请示中共中央，陈独秀说，你们开会商量好了。陈独秀当时住在医院里，采取了这种不负责的态度，又指定了张国焘代理他的职务，主持中共中央开会研究，也没有真正讨论。张国焘说了两句话，说北伐中我们的方针是：是反对蒋介石，也不是反对蒋介石。所以在北伐战争中，一直到国民党三中全会前，对蒋介石的方针是不明确的，结果就在客观上帮助了蒋介石，而助成了蒋介石地位的提高。
7月中旬，中共中央召开第三次扩大执行委员会会议，陈独秀和彭述之在会上联合提案，中共党员退出国民党，改为党外合作，这个提案遭到国际代表维经斯基和多数人的反对。大会通过了《中国共产党与国民党关系问题议决案》，对陈彭2人进行了严厉的批评。大会虽然否决了陈彭两人的联合提案，但同意将此案送请共产国际考虑。
共产国际不仅拒绝考虑，而且还由布哈林在《真理报》发表文章，指责主张退出国民党的人“恰和苏联反对派……犯了同样大的错误”。
自李宗仁、黄绍竑合力平定广西后，李宗仁虽是坐了第一把交椅，但李、黄部队因两个系统合并而来，军中门户歧见不易消除。尤其在广西统一后，举凡省内党务、军事、政治、经济、财政等方方面面的职位、权利，两军中人争之不已。李、黄因尚能推诚相见，但也囿于一山不容二虎的旧规，在任用人事上不免磕碰。对此，李、黄深以为虑，认为如果不能找到新的共同目标，就会弄到各走各的路，而把团体的力量渐渐分散开来，甚至造成不幸事件。李、黄、白认为，要彻底解决这一问题，在协调内部的基础上，必须寻机向外发展，而北伐正是提供这样的机会。
李宗仁任国民革命军第7军军长，黄绍竑主持广西省务。李、黄部队已发展到4万人，李、黄决定将军队一分为二，一半由李宗仁率领，准备随时北伐出征，称“前方第七军”，一半由黄绍竑统领，驻守广西，巩固后方，为“后方第七军”。
正当广西秣马厉兵，积极为北伐出师作准备之时，广西邻省湖南的湘军第4师师长唐生智与第3师师长叶开鑫发生战斗。唐、叶同为湖军阀赵恒惕的部下。赵恒惕执掌湘省大权后，名义上附北，但又打起联省自治招牌，南抗北拒，因此引起吴佩孚的不满。其时北方奉、直军阀为讨伐“南北二赤”，已握手言欢。吴佩孚为便于自己插手湘局，暗中扶植唐生智势力，对赵恒惕进行牵制。
唐生智毕业于保定军校，一向自视甚高，野心勃勃，在自己的第4师实力发展起来后，便有在湘取赵而代之之心。1926年初，湖南民众发起驱赵运动，唐生智见有机可乘，乃于3月中旬发起驱赵运动，赵恒惕知势已难容，通电辞职，唐继赵宣布就任湖南代理省长。忠于赵的湘军第3师师长叶开鑫坚决抗唐，率部退至湘鄂边界向吴佩孚求援，吴便以“助叶讨唐”为名发兵入湘。吴军久经沙场，精锐无比，一经接触，唐军立溃。吴军攻下岳州后，大军直逼长沙，唐生智情急之下，乃以同学私谊急电广西李、黄、白，请求支援，同时致电广州国民政府，表示只要能得到援助，即愿率所部投效革命政权，充当北伐前驱。
李宗仁接到唐电后，立即与黄、白等人进行紧急磋商，一致认为：北伐既为既定方针，出师也就势在必行。现在吴军正大举南下，若不先发制人，吴军一旦拿下湖南，便直接威胁两广，到时，革命方面就将陷入被动挨打的危境。唐军一旦溃入广西，北军尾追入桂，广西统一局面也万难保全。若给唐军以支援，一可助人于危难之际，二则先行出师，以后北伐事成，广西当居首功，于人于己均不失两全之策。况且，唐入主长沙后，白崇禧偕陈铭枢以广东革命政府的正式名义去湖南，对唐表示声援，现在到履行诺言的时候了，广西不能失信于人。于是李、黄在来不及报告广东方面的情况下，当机立断，作出援唐决定，并当即命令钟祖培旅作入湘作战准备，先以尹承纲团为钟旅前锋，兼程开赴衡阳前线，同时急电国民党中央，告之第七军援湘之师已经出发，北伐势成骑虎，望中央速定大计。
几日后，中央复电：“策动唐部举义，至深嘉许，桂省出兵支援，亦表赞同，至北伐问题，关系重大，深盼李督办来粤会商，再行决定。”
李宗仁偕唐生智的代表刘文岛同往广州。李宗仁向各方面活动后发现，苏联和中共因虑及工农尚未充分发动，担心北伐会搞成仅由少数军事领袖控制的单纯军事行动，对北伐态度谨慎；蒋介石倒是主张北伐，但其在党、政、军地位未确定，态度暧昧；其他各军政干要，均在观察动向，以定行止，对北伐也不甚积极，只有第4军军长李济深，因与广西方面有特殊关系以及与非粤系军队的矛盾，希望通过北伐使“在粤就食”的客籍各军包括蒋介石的黄埔军，早日不驱自走，故对李来粤呼吁北代表现了十二万分的赞成和热心。为此，二李多次作“竟夕谈”，最后商定了一个促成中央早定大计的做法。
5月25日，中央政治会议召开讨论北伐问题的会议，李宗仁首先充分陈述克日北伐的理由。李宗仁话毕，李济深立即起身响应，并主动请缨，表示愿抽调所部精锐陈铭枢、张发奎两师北上赴湘援唐，四军在广州城郊之叶挺独立团可立即出发。李之第四军为广东部队，今既自告奋勇，愿作前驱，其他各军原系客军，胜固有利大家，败也与己无关，落得赞成。于是，李宗仁的北伐之议竟然在会上一举通过。政治会议还同时通过任命唐生智为国民革命军第8军军长。
5月底，李济深部叶挺独立团先行从广州出发，开抵湖南安仁、渌田拒敌，陈铭枢、张发奎两部也自南路和琼崖北调，驰援入湘。由于两广生力军的加入，原已不支的唐军声势复振，吴军攻势被遏，湖南战局暂时得到稳定。
6月5日，国民党中央执行委员会通过迅速出师北伐案。国民革命军分析了全国形势，认为：“吴佩孚因缘时会，既已声震北国，且野心勃勃，仍企图囊括西南，是当前直接加害我政府，为我大敌者，莫若吴佩孚。……孙传芳已取得五省联军总司令之荣衔，其人素以乘机观变称，惯收渔人之利，从不作鹬蚌之争。故此时未必有积极对我之行动。张作霖纵心雄力厚，其势力犹在黄河以北，对我殊有鞭长莫及之感。”3支军阀总兵力70多万，国民革命军总兵力为10万多，据此，国民革命军策定了各个击破的方针，首先打倒吴佩孚，尔后次第打倒孙传芳、张作霖，又提出：“打倒吴佩孚”、“联络孙传芳”、“不理张作霖”的口号。
国民革命军北伐总司令蒋介石为了稳往孙传芳，特地复电孙传芳，表明国民革命军并无进攻江西的意图，如果有略取江西之意，则敝军久已集中湘东，岂肯屯兵不进，坐失时机。同时对孙传芳提出希望说：“兄与弟爱国同心，而进行方法则不无出入，今日救国要以民众为本，断非少数军人所得而私，封建制度决不能幸存于今日，所望兄内审国内情形，外瞻世界趋势，毅然加入革命战线，共为爱国彻底之谋。”
6月中旬，广西第七军第2批入湘援唐部队开赴湖南，会同第四军陈铭枢、张发奎两师、叶挺独立团、唐生智的第八军，向叶开鑫部和助叶之吴军发动了大举反攻。17日，李宗仁率第七军后续部队进抵长沙，唐生智发出定湘通电，长沙城里到处飘起了青天白日旗。
湘中战事旗开得胜，北伐军声威大震。至此，吴佩孚方感到此次南军出师与孙中山昔日之北伐不可同日而语，遂亲作部署，负隅顽抗。
8月12日，蒋介石偕同北伐司令部主要成员，包括总政治部主任邓演达、行营参谋长白崇禧、总军事顾问加伦一行抵达长沙。当晚即召开前方主要将领会议，讨论下一步作战方略，决定采纳李宗仁等几个军长的意见，仍以两湖为主战场，前进目标是占领武汉，消灭吴佩孚。得手后，再挥戈东南，进兵江西，扫荡孙传芳。
8月15日，蒋介石正式发布作战部署：国民革命军第四、七、八军为中央军，担任两湖的主攻任务。中央军以唐生智为前敌总指挥，率所部第八军为左纵队。另以四、七两军为右纵队，由李宗仁统一指挥，下分两路，一路由李宗仁亲自督率第七军，一路由第四军副军长陈可钰指挥，各路军分途进击，最后会攻武昌；右翼军总指挥为朱培德，统领第二、三两军，监视江西方面之敌，并掩护主力军之右侧翼；以第一、六军为总预备军，随中央军前敌部队推进；以袁祖铭为左翼军总指挥，统率第九、十军，进取沙市、宜昌。
8月18日，北伐军开始总攻击。中央军陈可钰部进展神速，先以迅雷不及掩耳之势扫清了盘据平江、通城之前面之敌。敌主将陆某在通城北门楼司令部自杀。接着陈可钰又与敌血战两日，叶挺独立团表现了惊人的英勇气概，吴军大刀队虽然接连砍下临阵退缩的团、营长9颗血淋淋的人头，还是无法把阵地稳定下来，叶挺的铁军一举攻陷汀泗桥。至8月28日，已乘胜追敌至贺胜桥。与此同时，李宗仁统率之第七军也向敌人展开了凌厉攻势。肃清了将军山，强渡汩罗河，不给新败之敌喘息之机。李宗仁率部随向导出发，在丛山峻岭羊肠小道上而行，幸第七军官兵来自西南山区，登山涉水如履平地，故只一日行军，便进抵岳州城前10里处。李宗仁当即指挥部队，乘敌不备发起猛攻，敌军惊为天降，慌不择路，向六溪、五里牌、羊楼司一带四散溃逃。第七军啣尾穷追逃敌，不日克复岳州，缴获无数。尔后进抵大沙坪，迅向贺胜桥急进，会合第四军，作攻打贺胜桥的准备。