就在这时，一九二七年四月十二日凌晨四时，上海响起密集的枪声，显示了蒋总司令手中枪杆子的威力。蒋介石下令“清党”，大批逮捕、枪杀中共党员，史称“四一二反革命政变”。
蒋介石走了三步棋：一年前的“三二○事件”，只是初露锋芒的他实行反共的“火力侦察”；接着，《整理党务案》的通过，表明他决心从国民党中“分共”；这一回，已经立稳脚跟、大权在手的他，以武力实行“清党”，亦即反共。外电急急报道：“在中国，‘KMT’与‘DP’火并，彻底决裂！”“KMT”，国民党的英文缩写；“DP”，共产党的英文缩写。“DP”目前自然斗不过“KMT”，因为蒋介石手中有着枪杆子。萧楚女、陈延年、赵世炎等，一个个倒在血泊里。毛泽东倒是从中悟明了一个真理：“枪杆子里面出政权！”虽说有人挖苦毛泽东是“枪杆子主义”，毛泽东却不悔。一九二七年秋天，毛泽东在湖南发动了“秋收起义”，然后带着兵马上了江西西部的井冈山，走上了用枪杆子对付枪杆子的道路——用毛泽东的话来说，叫做“武装斗争”；用斯大林的话来说，那是“中国革命的特点——以武装的革命反对武装的反革命”……蒋介石呢？虽说他在“清共”、反共方面步步得手，可是他在国民党内不孚众望。他独揽大权，引起了不满。那个汪精卫，依然是他在国民党内的劲敌。虽然汪精卫被迫远走法国，但他的“影子”仍威胁着蒋介石。
一九二七年三月十日至十七日，国民党二届三中全会在汉口南洋大楼召开。会议掀起反独裁运动。蒋介石、张静江拒绝出席。毛泽东作为中央候补执行委员，倒是出席了会议。此会推选尚在国外的汪精卫出任国民党中央常委会主席和国民政府主席，裁撤了原由蒋介石担任部长的军人部。这是蒋介石上台后头一回受挫。于是，四月一日，汪精卫兴高采烈地从法国回到上海。汪精卫成了国民党左派领袖。
蒋介石发动四一二反革命政变之后，以汪精卫为首的国民党中央下令开除蒋介石的党籍，免去一切职务，通缉拿办。一时间，蒋介石声名狼藉。不过，到了七月十五日，汪精卫在武汉也实行“分共”，又跟蒋介石走在一起了！就在这时，蒋介石率北伐军在与军阀孙传芳作战时败北，受到各方指责。八月十三日，蒋介石宣布下野，辞去总司令之职——这是蒋介石政治生涯中头一回跌到最低点，离四一二反革命政变的时间不过四个月而已！一个多月后，蒋介石出走日本……挤走了蒋介石之后，国民党内又爆发了汪精卫跟李宗仁的争斗。汪、李相持不下，不得不提出请蒋介石复职。一下子，蒋介石“行情”看涨，从日本返沪。一九二八年二月上旬，国民党二届四中全会在南京召开。跟一年前的二届三中全会截然不同，这一回蒋介石由落到起，由沉到浮，他被推举为国民党中央政治委员会主席、军事委员会主席，手中的党、政、军大权失而复得！于是，人们对他的称呼，从“蒋校长”、“蒋总司令”，变为“蒋主席”。这年十月八日，蒋介石又兼任南京国民政府主席，集三“主席”于一身。另外，他还兼任海陆空军总司令。
一九二九年三月，蒋介石主持召开国民党“三全”大会，胡汉民又与蒋介石合作，在会上致开幕词。大会通过了《奖慰蒋中正同志案》，大有“大树特树”蒋介石“最高领袖”权威的味道。汪精卫则拒不出席会议，指责会议代表百分之八十由蒋氏“圈定和指派”，“所谓代表者，已完全丧失其意义”。之后，蒋介石下令软禁胡汉民于南京汤山。“三全”大会加深了国民党内部的纷争，新军阀们纷纷反蒋。先是桂系反蒋，爆发蒋桂战争；接着，阎锡山、冯玉祥又揭起反蒋之帜，爆发蒋、阎、冯大战。一时间，打得好热闹。反蒋派拥戴汪精卫为领袖，另立中央，选举汪精卫为国民党中央政治会议主席，阎锡山为国民政府主席。汪精卫再度成为蒋介石的对手。蒋介石和阎锡山、冯玉祥在中原展开大战。好不容易，蒋介石战胜了对手。这时，蒋介石才腾出手来，坐镇南昌，对江西的朱（德）毛（泽东）红军进行一次又一次的“围剿”。一波刚平，一波又起。担任立法院长的胡汉民，不再与蒋介石合作，在国民党三届四中全会上猛烈抨击蒋介石专制独裁，又爆发蒋、胡之争。一九三一年二月二十八日，胡汉民被骗至蒋介石的总司令部，遭到软禁。消息传出，舆论哗然。
汪精卫看准了时机，第三次跟蒋介石作对。汪精卫举起了“救护党国”、“打倒独裁”之旗，联合反蒋派，于一九三一年五月在广州另组国民政府，汪精卫任主席，向全国发布《反蒋宣言》。于是，蒋介石调兵遣将讨汪，爆发了宁粤之战……看来，在四分五裂、群雄并存的国民党里，蒋介石欲成为最高领袖、“绝对权威”，也并非易事。