第二次东征取得全面胜利之后，蒋介石的声望如日中天，由此，他的权力欲开始恶性膨胀。
邓中夏在《中国职工运动简史》中曾对当时形势有过如下概括：
“1926年1月，国民党第二次代表大会以后，广东政局内即发生新的酝酿，原因是共产党在国民党大会时采取了对于新的右派的退让政策，以致新右派得以纷纷返粤活动，于是左派的政权隐隐发生动摇。蒋介石以左派的资格一变而为新右派的领袖。”
邓中夏提到的中国共产党对国民党的“退让政策”，系指陈独秀为首的中共中央未批准毛泽东、周恩来、陈延年等人对国民党采取“打击右派，孤立中派，扩大左派”的政策，从而使国民党右派限制和反对中国共产党的要求得以成为现实。陈独秀错误地认为当时的革命活动在全国各处都遭受打击，力主向国民党右派让步，与西山会议派的孙科、叶楚化邵元冲三人进行谈判，甚至同意了右派提出的两项议案：其一，共产党员在国民党各级党部不得超过三分之一以上的人数；其二，由中共中央命令广东党部延迟召开二大。在此前提下，一部分右派人士回到了广州，如孙科。戴季陶、胡汉民、伍朝枢、萧佛成等，这些右派代表竟进一步当选为执委，把蒋介石“向右转”的腰撑了起来，终至酿成“中山舰事件”。
用周恩来的话说，中山舰事件“完全是蒋介石制造的。”
中山舰是陈炯明叛变时，孙中山曾避难的永丰舰为纪念孙中山而改名的，是当时国民政府推一的一艘装备完全的兵舰。蒋介石深知军权的重要，而要掌握军权，必须在这个方面打击共产党，扩张自己的实力。蒋介石与孙文主义学会、国民党右派经过多次的策划，事先散布说“共产党要暴动，推翻国民政府，组织工农政府”。
1926年3月18日，黄埔军校驻广东省办事处通知海军局，说是奉蒋介石的命令，调派“得力兵舰二艘，开赴黄埔，听候调遣”。海军局代理局长中共党员李之龙即派中山、宝壁两舰前往。但19日晨军舰到达黄埔后，蒋介石却声称并无调舰命令。其后，因苏联参观团要参观军舰，李之龙经请示蒋介石后，又将中山舰调回，于19日下午6时半该舰驶抵广州。中山舰的往返开动，本是奉命行事，但蒋介石却说这是“无故升火达旦”，是“扰乱政府之举”，诬蔑共产党阴谋举行暴动。更为离奇的是，蒋介石在后来说：“我知道共产党阴谋的爆发，就在于此。但我在当时，只知道他们是要叛变，要害我，还不知道他们的企图究竟是什么。一直到了这一叛乱平定之后，我才知道他们的计划，就是要在我从广州省城乘军舰回黄埔军校的途中，强迫我离粤，直驶海参就，送往俄国，以消除他们假借国民革命来实行‘无产阶级专政’的唯一障碍。”
19日夜里一时（即20日凌晨三时），蒋介石到造币厂开始行动，命令陈肇英、王柏龄执行逮捕李之龙的任务；刘峙执行扣押第二师各级党代表的任务；第二师第五团占领海军局，并解除海军局的武装；陈策、欧阳格执行占领中山舰并解除中山舰武装的任务，吴铁城所部监视汪精卫、季山加及苏联代表团与全市著名共产党员的住宅和共产党的机关。他们预定，只要任何方面的共产党一开枪反抗，他们就动用第二师，新编第一师（吴铁城兼师长）及公安部队来一次大屠杀。
事变发生之后，帝国主义者异口同声一致欢呼，恭贺，大肆宣扬。香港总督金文泰，在西商会议上喜气洋洋地说：“报告诸位一个好消息，就是20日广州政治已上轨道了。”与会者纷纷喝彩狂欢，高呼万岁。帝国主义在中国的宣传工具--香港、上海、天津等处的英文、中文各报，都以显著的地位、醒目的标题登载这个事变，并以各种方式连续编选各色各样的有利于蒋介石的消息，给蒋介石以表扬和鼓励。美国联合通讯社更以喜悦的心情庆祝3月20日事变的发生，说：‘“蒋介石借伍朝枢等名人力助，在广州变制成功。”东方通讯社以称赞的口气在香港报道说：“二十日对于共产党之非常手段，乃蒋介石部下孙文主义学会派拥蒋氏而施行者。”
中国共产党怎么对待这次事变呢？当时毛泽东、周恩来等主张予以反击，以革命的“三·二O”来对付反革命的“三·二0”。当时进行反击是完全有条件的：第一，革命的力量很强，第二，国民党内部和国民革命军中，有很多人反对蒋介石制造这次事变。国民党军队中的一些高级将领都很不满意蒋介石的作法，正如周恩来回忆说：“当时谭延间、程潜、李济深等都对蒋介石不满意，朱培德、李福林有些动摇，但各军都想同蒋介石对干一下。”第三，蒋介石也非常害怕共产党人对他进行反击。在事变发生之后，蒋介石发表一连串讲话，反复进行解释。3月22日蒋介石对黄埔军校第四期学生发表训话说：“前星期发生一件事，我想大家都想要赶紧明白的，便是中山舰无故移动的事。该舰刚才修整好，忽然开到黄埔来。当19日正午海军局代理局长李之龙打电话给我说中山舰可否开回广州。当时我并不知道中山舰已经开来了黄埔，我就问他，是谁的命令开去的。他回答的话，是很含糊的，答不出所以然。我当时就很奇怪，我就说你要开回来，就开回来好了。后来我研究中山舰为什么开来黄埔？究竟有什么作用。我当事出之后来问他，竟和昨日的话完全不同。他又说是教育长的命令，又说是校长的命令。我要他把命令拿来看，他说是电话。后来中山舰当夜开回省城，通宵不息火，戒备甚严，我料他必有不法的行动，所以即时派了兵登舰监视。这件事，是否是不利于我们黄埔。或不利于政府。本党现在还没有调查清楚。但社会上一般不明了的人，有很多的猜测、很多的谣言，弄得满城风雨。李之龙他自家说是个共产党的党员。他是本校第一期的学生。但是这回事情，现在尚未审问明白，即使他真正有罪，也只是他一个人的问题，不能牵涉到团体的身上。……李之龙这种行为，如对于本校和本校长有不利，或者是有什么阴谋的话，我倒以为不是本校的悲观，并且是一件很可能乐观的事情。因为我教育学生的方计，是要他们来监督我的，并且是要他们来干革命的。如果学生之中，有了要来革我命的学生了月p我的教育方针可以说是达到了；并且我本人自己也可以借此来反省，我果有违反三民主义的地方没有？我是否已立在被革命的地位没有？这些事，都是于校长革命事业上是有很大的益处的。所以我对于此案只有乐观。”
25日，蒋介石又给军事委员会送上了《为处置中山舰事件自请处分呈》说：“惟此事起于仓卒，处置非常，事前未及报告，专擅之罪，诚不敢辞。但深夜之际，稍纵即逝，临机处决，实非得已。应自请从严处分，以示惩戒，而肃纪律。”26日，蒋介石又就关于中山舰案答中央通讯社记者问。蒋介石回答了四个问题：第一个问题是“日前3月20日省中戒严之事缘何时起？”蒋介石说：“在3月19日夜中，余得有中山舰异动报告。因其犯有重大嫌疑，又事起仓狡，不及报明政府，当由余以非常处置，捕获嫌疑犯数人，嗣经查究，其中无嫌疑者一律释放。余现因办理此事先未得政府命令，近于专擅，已呈请政府严予议处。至于种种谣言，纯系帝国主义走狗及奸人所造，乘机煽动，以遂其倾覆政府、分裂革命势力之阴谋。”第二个问题是“当日举动是否牵及省港罢工委员会？”蒋说：“政府对于罢工抵制帝国主义，始终处于赞助地位。余更为拥护罢工政策最力、反对帝国主义最烈之一人，当然绝无摧残罢工，破坏工人运动之理。不过当日因追究中山舰行动，适扎军于罢工委员会门前，致碍及会中人员交通，一切谣言遂由此起。……余甚望工友要心勿为所动，军民一致，最后之胜利终属吾人。”第三个问题是“东山之警戒情形又为何？”蒋说：“东山适亦在警戒区域，乃因部下误会，致有妨俄顾问出人，此亦余所深致不安者。”第四个问题：“外人有因此疑及联俄政策有变更者，果何如？蒋说：“苏俄已成为世界革命之中心，中国国民革命又为世界革命之一部分。吾人即尽力于国民革命，自当努力促成世界革命。若谓革命同志而竟互相伤害，而竟不相联合，宁有是理？实则此亦敌人故散此谣言以惑我革命民众。吾民众果已认识革命主理，则决无受骗之可能。”当3月29日西山会议派在上海举行所谓国民党二大并致电“训勉”蒋介石等，夸奖他们制造中山舰事件为“功在党国”，鼓励蒋介石努力“清理党籍”的时候，蒋介石即于4月3日发表为中山舰案驳西山会议派通电。电文说：“3月20日镇压中山舰一案，全系个人局部问题，已由中正个人完全负责，呈明政府，自请处分在案。……今又接上海西山派所谓全国代表大会通电希图破坏本党，摧残革命，不使吾同志同归于尽不止。其煽惑挑拨之技俩，已图穷匕见。此种托庇于帝国主义势力范围下之行动，不自愧其为帝国主义者之工具，竟敢不法通电，视中正为傀儡，殊堪痛心。今特敬告本党同志与全国人民，曰中正誓为总理之信徒，不偏不倚，惟革命是从；凡与帝国主义有关系之败类，有破坏本党与政府之行动，或障碍革命之进行者，必视其力之所及，扫除而廓清之，巩固党国，而慰我总理与已死请同志在天之灵。耿耿此心，惟共鉴之。”4月9日，蒋介石在给汪精卫的复信中，不仅把中山舰事件引起的责任推给汪精卫，而且认为这是“自卫”性行动。蒋说：“当3月初旬，吾兄召集孙文主义学会及联合会员训话时，闻兄有土耳其革命成功，及杀共产党，中国革命未成，又欲杀共产党乎？此言也，不知兄何所指？而军官听者，无不惊骇，皆认兄此语，是引起共产党与各军官之恶感，无异使本军本校自相残杀也。所以3月20日之事，一触即发，以为共产党员闻兄之言，必有准备，所以各军官亦不得不出于自卫之一道。盖本出身之军官，对于共产党员幼稚者之行动，固多不满意，而谓其有杀共产党之心，则弟保其绝无之事。盖一般军官皆现在革命战线之不能撤散，与其杀共产党，不知谓自取灭之也。且当时事实，可证明其动作皆出于自卫，无攻人之行动也。”20日，蒋介石又就中山舰案发表演说，认为在事件发生前，“就有一派人想诬陷我，并且想拆散本校，就造出一种空气，说校长是不革命的”。他还故弄玄虚地说：中山舰事件的经过情形，“要等我死了之后，才可以完全发表。因为这种内容太离奇太复杂了，万万所想不到的事情，都在这革命史上表现出来。如果我不是当着这件事的人，我亦不相信会有这件事情。”蒋介石还就李之龙看管的情形回答了大家的提问。他装模作样地说：“李之龙的事情，你不间我，我就忘掉说了”，又说：“他是代理海军局长不能不负责任。这就是当时的情形。其余的话，现在还不能发表。总之现在这事情还没有十分明白，我亦不愿意十分追究……李之龙究竟是自己的学生，如果我的学生不好，就是我自家不好；然而现在一时是不能释放的。”到了6月，蒋介石在一次黄埔军校总理纪念周上说：“我绝不承认3月18日那天的事件，共产党有什么阴谋在内”。“我可明白：3月20日的事件，完全与共产党团体是没有关系的。”蒋介石除了发表这一连串讲话外，行动上也将王柏龄免职，限令立即离开广州；陈肇英也被免去虎门安塞司令，并责令离开广州；吴铁城被免去本兼各职，送虎门要塞监禁；欧阳格、陈策、徐授等都受了处分。蒋介石还亲自到汪精卫家里，好象是负荆请罪的样子。总而言之，鉴于上述三个方面的有利条件，中国共产党是完全可以反击的。但是陈独秀却反对反击，而是采取让步。1926年4月3日，陈独秀在《向导》上发表了《中国革命势力统一政策与广州事变》一文，说：“蒋介石是中国民族革命运动中的一个柱石，共产党若不是帝国主义者的工具，决不会采用这种破坏中国革命势力统一的政策。”进而，在6月4日，陈独秀给蒋介石写了一封信，发表在《向导》上。信中写道：“从建立黄埔军校一直到3月20日，都找不出蒋介石有一件反革命的行动”，而且表示，中国共产党若阴谋倒蒋，就应该枪毙。由于陈独秀把持的中国共产党中央承认既成事实，蒋介石就成为当时的核心人物。周恩来总结这一次让步说：“如果这时党中央的政策给蒋介石以有力的回击，毫无问题，事情是有办法的。但当时却采取了继续退让的政策，不了解蒋介石这时还没有足够的力量，他是不敢分裂的，却以为蒋介石是要分裂，就向蒋介石说这是误会。蒋介石于是乘机立刻放了人，表示误会。这是陈独秀右倾机会主义第二次向蒋介石的大让步。这是军事上的大让步。”
中山舰事件，既是蒋介石向共产党开刀之前的“小试锋芒”，也是国民党高层内部争权夺位矛盾斗争的一种反映。丁贤俊曾撰文介绍了汪精卫对此事件的态度：
事件发生的第二天，在家养病的汪精卫得知消息，曾愤愤地说：“我是国府主席，又是军事委员会主席，介石这样举动，事前一点也不通知我，这不是造反吗？”他曾十分自负地向亲信们表示：自己的地位和历史不是蒋介石能够反得掉的。蒋介石虽然在军事上功勋卓著，但在党内的地位毕竟居于汪精卫、胡汉民等元老之下。如今他竟敢蔑视上级，擅自行事，这不能不使汪精卫震怒。事件发生后，蒋介石才写了一封信给汪精卫，表白自己是为了制止共产党“图谋暴乱”而突然采取的措施，至于“事前未及报告，专擅之过，诚不敢辞”，“自请从严处分”。这些官样文章后面流露的桑骛不驯是显而易见的，以反共反俄情急失检的言词掩饰其反共争权目的，只能欲盖弥彰。
值得玩味的是，中山舰“事件”反俄反共的性质是清楚的，但却被大事化小了。蒋介石把所谓的“共产党图谋暴乱”，缩小为只是李之龙个人的“不轨”行为；对苏俄顾问也只抨击鲍罗廷独断专横，而不涉及反俄。不仅如此，蒋介石还表示他对共产党仍抱有“亲爱的精神”，对共产主义不但不反对，并且是很赞成的”。又说联俄是国民党的生命，岂有轻易变更动摇之理。事后他将事件直接肇事人欧阳格等免职拿办，还通电谴责西山会议派“希图颠覆政府，摧残本党”，竭力维护“左派”的面具。而汪精卫并没有站在维护三大政策的立场，对蒋的倒行逆施予以严厉制裁和谴责，而是借口有病表示消极，就连蒋介石的“专擅之过”也未予处置，便隐匿不出了。事后甚至还替蒋圆场，说他的根本思想不是反俄反共的。
中山舰事件表露出蒋介石公开向汪精卫争权，蒋介石。
汪精卫关系趋于恶化已是无法掩盖的事实。国民政府核心领导人之一的谭延阁对“事件”曾有直接了当的评估，他说：“什么共产党，这是蒋介石反对汪先生罢了！”谭延间还认为这还关联到蒋介石主动攀附汪精卫要求结为拜把兄弟遭到陈壁君的阻挠，“大概介石不满江夫人，因而连带反对汪先生。”这种说法不免有些片面，但反映了当时有些人对蒋介石的一种认识。这一对未能结成把兄弟的政治人物，从此由辅佐孙中山的文武干才逐渐变成了争权夺利的冤家对头。
3月20日夜间，蒋介石做出一项重大决定，他以广州卫戍司令的身份宣布全城戒严，并于次日上午将汪精卫逮捕，扣押在观音山。李之龙和其他涉及此事的共产党员遭到监禁。由共产党人控制的省港罢工委员会所有成员均被缴械，一切罢工均被取消。
3月22日，蒋介石召开国民党中央政治委员会全体会议，命人把汪精卫带到了会场。在80位国民党委员面前，汪精卫怒视蒋介石，大声说：
“你以为你是老几？你只是个暴发户而已！你的名字既不在国民党25位创始党员之中，也未列为五位监察委员之一，你不过是一个新进者，一个后辈委员，但是你却以你那无耻的军阀作风来叱责你的长辈。如果你想夺取我的地位，你就干下去嘛！我们敬爱的总理会自上苍看着你的勾当，全国人民都会看着你于，历史会予以记录！”
当年5月，汪精卫称病前往法问。蒋介石取代了他，成为广州最主要的领导人。蒋介石摘的这套把戏，不但博得厂帝国主义在华势力的喝彩，也得到了国内反动势力的支持，远在上海的张静江闻讯后，“不辞道远，刻日南行”，希望能在这场变故中，为蒋“稍尽其献替”。
张静江此行是受双重因素的驱使：其一，他与蒋介石私交甚笃。其二，他与蒋介石的政治立场是一致的。张静江身为资产阶级的一员，推翻清朝封建统治是其诚心所愿，但对共产党所领导的工农运动却抱敌视态度。尽管早年他在《新世纪》周刊上，曾专门介绍国际工人运动概况，甚至登载赞扬巴黎公社的文章，但其目的，只在汇集反清革命的力量。他是决不允许无产阶级危及本阶级和集团的利益的。正是在这一点上，他与蒋介石具有先天的一致性。因此，他对蒋介石与各派政治力量之间的角逐极为关注，得知中山舰事件的消息后，他唯恐骤行不义的蒋介石会陷于进退失据的窘境，遂急驰广州，扮演起蒋氏军师的角色。他到达广州的当晚即赶到蒋介石的住地，鼓励蒋介石‘’止其（共产党）包办之运动而约束之”，对蒋在中山舰事件中采取的阴谋手段大加赞赏，称蒋介石为“天才”。
张静江的到来，使深陷孤家寡人境地的蒋介石顿时觉得有了支撑，每天一起商量反共计划。按照他们的预谋，蒋介石在国民党第二届二中全会上提出了《整理党务案》，使共产党在国民党中的地位大为下降，由蒋介石出任国民党中央组织部长、军人部长和国民革命军总司令职务。二中全会新设中央党务委员会主席一职，由张静江担任，不久张辞职，此职又由蒋介石担任（后因蒋赴北伐前线由张静江代理主席职务）。至此，蒋权势大增，为日后实行军事独裁打下了基础。
1926年7月9日，蒋介石率师北伐，张静江留守广州，成为后方策划反共阴谋的核心人物。当时任组织部代理部长的陈果夫在组织部内专行反共之事，每遇重要事项都请张静江决策。陈果夫曾计划以自己的亲信接管主要由共产党员领导的广东省党部，因感事关重大，问张是否应请示蒋介石。张静江对陈果夫说：“应该做的事，负责去做，不必请示，本党整个政策并没有变更，领袖不能表示态度。如果去电，叫他如何答复？我们的事只要审慎处理，不要增加蒋先生的麻烦。”在他的授意下，陈果夫更加肆无忌惮地实施其反共计划，在改组广东省、市党部之后，又陆续向各地党部选派一批反共分子。这些人出发前，张静江总要亲自接见，讲些“救党的责任放在诸位身上”之类的话，以示鼓励。7月间，中山大学发生沈某组织法西斯组织残害共产党员的事件。当中央执行委员会讨论如何处理沈某时，张静江对其百般庇护。为培植从事党务活动的爪牙，陈果夫与张静江商议，由组织部创办了党政训练所。但诸事并非尽其所愿：一些共产党人也进入训练所学习，张静江和陈果夫对此耿耿于怀。当训练所发生风潮时，张静江要市公安局长李章达派警察镇压，因后者未予理睬，他竟请求政府将其免职。同时，借这个机会，把共产党员和参与风潮的学员全部开除，使原有的100名学员仅剩下50余名，而且多是顽固的反共分子。这年门月，张静江的父亲病逝。蒋介石在江西听到消息，特意致电张静江，请他暂时不要回上海奔丧，继续坚守广州主持一切党务。张静江果然听话，寸步不离，为蒋坐镇后方。
随着北伐的胜利进军，全国的革命重心移到了长江流域，国民党中央决定迁都武汉。1926年12月中旬，谭延阁等中央执监委员启程北上，途经南昌时，被蒋介石截留。蒋介石无理提出迁都南昌的主张，旨在置国民政府于自己的肘腋之下，挑起迁都之争。张静江支持蒋介石，留在南昌，拒绝赴汉。这期间，他和陈果夫指使亲信占据了国民党江西省党部及许多县党部，大肆摧残工农运动。
为了扩大蒋介石的政治力量，1927年3月10日，张静江致书一年前被蒋介石排挤出国的汪精卫，为蒋介石说项，劝其捐弃前嫌，尽快回国，与蒋携手反共。
蒋介石在“中山舰”事件之后，大耍两面派手法，他先是利用事件本身造成政治影响，然后又把事件本身解释为“误会”，貌似“公正”地处理了这一事件。由此完全取得了主动，既排挤了汪精卫、胡汉民等“政治绊脚石”，又打击了共产党，确立了自己的领导地位。接着，他又在中山舰发生的原因及后果上大做文章，公开提出：之所以发生中山舰这样的事件，是由于共产党在这两年里“发展太快”，以致引起军队中国民党员的疑惧。言外之意就是要“吸取教训”限制共产党的发展和活动，以避免再次出现“中山舰事件”这样的“误会”。
由于陈独秀右倾机会主义的让步和妥协，事件发生后，虽然共产党员全部退出了第一军和黄埔军校，但蒋介石却得寸进尺，认为这样还是不能解决两年来的党务纠纷，必须找到“消除误会的具体办法”。于是蒋介石又于4月2日向国民党中央委员会提出了“整理党务案”，要求召开中国国民党二届二中全会加以切实解决。这个“整理党务案’’计有如下九条：
一、凡他党党员之加入本党（国民党）者，各该常应训令其党员明了国民党之基础为总理所创造之三民主义，对于总理及三民主义不得加以怀疑及批评。
二、凡他党党员之加入本党（国民党）者，各该党应将其加入本党党员之名册交本党中央执行委员会主席保存。
三、凡他党党员之加入本党（国民党）者，在高级党部
（中央党部、省党部。特别市党部）任执行委员时，其额数不得超过各该党部执行委员总数三分之一。
四、凡地党党员之加入本党（国民党）者，不得充任本党中央机关之部长
五、凡属于国民党籍者，不许在党部许可以外有任何以国民党名义召集之党务集会。
六、凡属于国民党籍者，非得有最高级党部之许可，不得别有政治关系之组织及行动。
七、对于加入本党（国民党）之他党党员，各该党所发之一切训令，应先交（国民党、共产党）联席会议通过，如有特别紧急事故，不及提出通过时，应先将此项训令请求联席会议追认。
1、本党党员（国民党）未受准予脱党以前，不得加入其他党籍，如既脱本党党籍而加入他党者，不得再入本党。
九、党员违反以上各项时，应立即取消其党籍，或依其犯之程度，加以惩罚。
5月15日至5月22日，国民党二届二中全会在广州召开，蒋介石主持其事，提出了这个旨在排斥共产党、限制共产党活动的“整理党务案”，并在会议上获得了通过。这次会议上，选举了张静江为中央党务委员会主席，蒋介石自任组织部长并兼任军事部长。鉴于这个议案已被“合法化”，原在国民党中央任职的中国共产党人只好纷纷辞职，毛泽东辞去代理宣传部长职，林伯渠辞去农民部长职，刘伯承辞去中央秘书处书记职，谭平山辞去组织部长职。
这次会议，国民党右派大占上风。
会议发布了对时局的宣言，并决定北伐。