蒋介石问陈果夫：“大家既已表态，你看该怎么办？”陈果夫说：“反共清党是我们坚定不移的方针，这一点大家都有了共识。但我们怎么一步一步地去做，怎样使本党同志和国人都明白我们之所以反共清党的道理，我们却还没有讨论，是否再另开一次会，讨论这些问题呢？”
1927年3月，革命势力已发展到长江下游，其锋芒直指帝国主义在中国的统治中心--上海。为配合北伐军占领上海，上海工人阶级在中国共产党的领导下，先后举行三次武装起义，终于占领了上海。1927年3月22日，蒋介石的第一军第一师薛岳部不费一枪一弹开进上海。
为了使反革命政变能披上合法外衣，蒋介石也需要有人能为他摇旗呐喊，制造舆论。他想起了陈果夫。在南昌的时候，陈果夫就向蒋介石提议召开中央监察委员会全体会议，建议以国民党党纪来制裁共产党。因为在陈果夫看来，“中央执行委员中多数同情共党，而监察委员则多数为本党忠实同志。”于是，在北伐军进入上海的第二天凌晨，陈果夫被蒋介石派人接去了上海，在上海之外的国民党中央监察委员会委员也接到了蒋介石发来的赴沪开会的电报。
此时的蒋介石，经过北伐，势力进一步壮大，他不是继续挥师北伐，而是与帝国主义及上海的反动势力密谋策动一场反共反人民的反革命军事政变。
早在3月初，北伐军进占江西的时候，蒋介石便唆使其爪牙，残杀了江西省总工会副委员长、赣州总工会委员长共产党员陈赞贤。3月16日，蒋介石又以武力解散了拥护孙中山三大政策的南昌国民党市党部，通缉市党部执监委；解散江西省学联会，封闭国民党左派的《贯彻日报》社。3月17日，蒋介石指使爪牙在九江，纠合青红帮流氓在街上大呼“新军阀万岁”，“蒋总司令万岁”，“打倒赤化分子”等口号，围攻和捣毁拥护孙中山三大政策的国民党九江市党部、总工会、第六军政治部，杀害市党部干部三人，总工会干部一人。工人纠察队捕获行凶流氓多人，复被蒋介石的卫兵全部劫去。3月20日，蒋介石到了安庆，又利用流氓组织所谓“安徽省总工会”。23日，安庆市召开欢迎蒋介石总司令的市民大会，蒋介石以每名大洋四元的身价，收买流氓组成了敢死队，准备在召开的市民欢迎大会这天，敢死队举行暴乱，约定敢死队在杀害革命者时，受轻伤者赏大洋100元，重伤者500元，丧命者1500元。就在当天，这批流氓土匪捣毁了安徽省国民党党部。安庆市党部、全省总工会筹备处、省农民协会筹备处、安庆市妇女协会等革命机关团体，打伤职员和省代表大会代表数十人。蒋介石就这样一路杀到上海。
当3月22日北伐军进驻上海时，蒋介石就密令将“打倒帝国主义”的口号，改成“和平奋斗救国”的口号。26日蒋介石到上海，立即向帝国主义表示：“国民革命军是列强各国的好朋友，决不用武力来改变租界的现状。”
3月28日，陈果夫、吴稚晖、张静江、古应芬、李石曾等国民党监察委员会常委开会，诬蔑加入国民党的共产党谋叛国民党，“危害本党及中国”，“应行纠察”。由于参加会议的监委不多，陈果夫等决定由吴稚晖草拟提案，等监委会召开监察委员会全体会议讨论。但蒋介石已准备好了屠刀，迫不及待地要下手了。
对于蒋介石的态度，帝国主义列强非常满意，他们以威胁和利诱等手段，敦促蒋介石迅速进行反革命政变，并答应以其驻扎在上海的两万余名侵略军帮助蒋介石镇压革命群众。帝国主义列强会同上海买办阶级和民族资产阶级上层分子，送给蒋介石1500万元，作为进行反革命政变的经费，并预定在政变后，再送3000万元，作为蒋介石建立反革命政权的资本。黄金荣、杜月笙组建的“中华共进会”、“上海工界联合会”等黄色工会也答应听候蒋介石调遣。
为扫除上海外围的革命势力，蒋介石于3月29日命白崇禧在杭州袭击杭州总工会，屠杀工人领袖和革命群众，同时又以总司令名义，将攻占南京的所谓“不稳”的左倾部队调到长江以北作战，并委派何应钦第一军和李宗仁第七军驻防沪宁线，监视左倾部队。另外，4月5日，蒋介石又将上海的左倾部队调离上海，改派反正的北洋军阀周凤歧二十六军接防上海。
当时上海已盛传蒋介石要解除上海工人纠察队武装，为欺骗群众，蒋介石假称“工人纠察队乃是人民的武力，革命政府断无加以摧残之理，如有流氓捣乱，一定从严究办”。
蒋介石还假惺惺地给上海总工会纠察队送去他亲笔题写的“共同奋斗”的四字锦旗，以表示他对上海工人阶级的“敬意”。为欺骗共产党人，蒋介石还下令封闭了反共的西山会议派设在上海的国民党中央党部。
4月的上海，天气忽阴忽晴，乍暖还寒。上海的市民们已陶醉在胜利的喜悦之中。但是敏感的人却从那不时忽如其来的冷空气中意识到了什么。
4月2日下午，上海北伐军东路军前敌总指挥部。这一天总指挥部戒备比往常更为森严，三步一岗，五步一哨，四周还潜伏着许多便衣。指挥部内聚集着一群达官显贵，何应钦、吴稚晖、李石曾、李济深、李宗仁、白崇禧、黄绍宏等人。或坐，或立，或沉默，或窃窃私语，似是在焦急地等待什么人。
忽地门外传来一声“蒋总司令到”，屋内的人立即都站了起来。片刻，身披黑色斗篷，一身戎装的蒋介石在陈果夫、陈立夫的陪同下走了进来。一阵寒暄之后，蒋介石随即宣布会议开始。
蒋介石满脸严肃，声称北伐军到了武汉，国民党中央的某些机关和某些人已受到共产党的分化或劫持，因此要把国民党中的共产党清除出去，否则，国民党就要被共产党篡夺。
蒋介石的话音未落，何应钦、吴稚晖便随声附合起来。何应钦、吴稚晖、黄绍宏、李济深既表了态，其他人也坐不住了，纷纷起来发言，破口大骂共产党，诬蔑共产党及工农群众，要求“反共清党”。
当这些人争相向蒋介石献殷勤之际，陈果夫却坐在一旁，默不作声，似是在饶有兴趣地倾听他人发言。但实际上在内心里，他看不起这些人，尤其是看不起何应钦、白崇禧、李宗仁这些军人。他认为这些军人只会舞刀弄枪，厮杀拼命，却根本不懂策略。他认为要发动这场政变，必须在舆论上先发制人，使共产党在思想上、组织上、行动上毫无准备，要使共产党在政变之后哑巴吃黄莲--有苦说不出。如果蒋介石能听从他的建议的话，那么政变成功之后，他陈果夫就成了蒋介石政权的第一大功臣，想到这些，陈果夫不觉微笑起来。
蒋介石注意到了，挥手让大家安静，随后问陈果夫：“祖焘（陈果夫的字），大家既已表态，你看该怎么办？”
陈果夫略为沉思，清了清嗓说道：“反共清党是我们坚定不移的方针，这一点大家都有了共识。但我们怎么一步步地去做，怎样使本党同志和国人都明白我们之所以反共清党的道理，我们却还没有讨论，是否再另开一次会，讨论这些问题呢？”
陈果夫的建议提醒了蒋介石：必须利用舆论工具为自己服务。他接受了陈果夫的建议。
4月5日下午，旧上海道尹公署楼，蒋介石又召开了秘密会议。陈果夫、柏文蔚、李宗仁、黄绍宏、白崇禧、古应芬、吴稚晖、张静江、李济深等人参加了会议。
蒋介石在会上发言：“反共清党势在必行。但我们有些同志对此却有些不明白，以为不合法。这是一个很糊涂的认识。要澄清这个问题，须由中央监察委员会提出一个检举共党谋叛的呈文，咨请国民党中央委员会、国民革命军总司令部以及地方军事当局对共党作紧急处置。这样，军事当局才可以对共产党实行武力解决。你们看，这个事该怎么办？”
陈果夫早已与蒋介石暗通声气，就站起来说：“3月28日我们在沪的中央监察委员会开了个会，认为共党谋叛，危害本党及国民政府，就行纠察。这个呈文现在由稚老（吴稚晖）在草拟，不久就可以向中央提出。”
蒋介石一听，立刻就不耐烦地打断了陈果夫的话，“现在正是非常时刻，草案拟定得越快越好。”思考了片刻，蒋介石又接着说：“稚老年事已高，恐怕不能尽快完成，我看另外派人协助他吧。”
陈果夫随即表示：“我愿意协助稚老。”蒋介石点头表示同意。
秘密会议结束之后，陈果夫便与吴稚晖躲了起来，绞尽脑汁，炮制了一个所谓：“中国国民党中央监察委员会呈文”，在文中陈果夫极尽欺骗、诬蔑之能事：
--4月2日的秘密会议被他挂上了中央监察委员会全体紧急会议的牌子，抛出一份编造的“中国国民党中央监察委员会在上海开会记录”。
--根本没有出席会议的蔡元培也被陈果夫“推为”会议主席，出席4月2日会议的陈果夫、吴稚晖、张静江等国民党中监委只占全体中监委的1／4被说成是2／3。
--呈文诬蔑“今者共产党有谋逆之整备，遂喧腾其联共之口号，诬罔总理，挟制舆论以图大逞……。”
--呈文狂嚣“举党执行委员内叛逆有据之共产党员及附逆委员，应予查办。未便尚听其行使职权，您为颠倒。”
--呈文后附列鲍罗廷、陈独秀、林伯渠、谭平山、毛泽东等在内的197人的名单，要求：姑将所开名人及各地共产党首要危险分子，经党部举发者，就近照知公安局或军警，暂时分别看管监视，免致活动，致酿成不及阻止之叛乱行为
陈果夫、吴稚晖炮制出来的这篇呈文使蒋介石如获至宝，遂“名正言顺”地对外宣布：
“中国国民党中央监察委员会，举发共产党连同党内跨党之共产党员等有谋叛之证据，……本总司令职司讨伐，以维护地方秩序为要，如有借端扰动，有碍治安者，定当治法。”
4月9日，陈果夫再次纠集邓泽如、吴稚晖、张静江等人以国民党中央监察委员会名义发出“护党救国”电，捏造武汉国民政府的所谓门大罪状，胡说：“皆为武汉会议（指二届三中全会）中所加于本党之根本创伤，致使革命势力发皇张大之本党，有遍体创痍之观”，“长此以往，不独北伐困难，而本党百万党员与朝夕以求中国的自由平等之民众，亦将何所寄托”，“全体同志念党国之危机，懊丧亡之无日，被发缨冠，共图匡济”，敦促蒋介石勿失良机，尽快动手。
陈果夫的这份通电确是“声泪俱下”，国民党中不少不明真相的人都被煽动起来反对共产党。
在此之前的一天，在陈果夫等的建议下，蒋介石派东路军政治部主任陈群，对上海各报馆进行稿件检查，规定各报从今日起，政府要登什么稿件就登什么稿件，政府不要登的稿件就一律不许登载。于是各报从此时登出来的都是从蒋介石总司令部发布出来的反共、反革命的稿件。当时上海新闻界舆论哗然，认为自辛亥革命以来，蒋氏为首创新闻制度检查之人，较之那帮老军阀要厉害多了。袁世凯只是限制不许登某些稿件，孙传芳是用停止邮寄来威胁报馆不许登骂他们文章，都不曾如蒋介石一股脑儿地将新闻稿件“包圆儿”了。在这首创中陈果夫扮演了不光彩的角色。
借口已经编好，舆论也控制了，剩下的只是一个时间问题。陈果夫本人虽然认为反共清党越快越好，但在行动上他却比那些军人要谨慎多了，他主张先试探武汉政府的反应。
在陈果夫的建议下，4月6日，蒋介石以“淆惑军心，背叛主义”的罪名，查封武汉中央军事委员会总政治部驻上海的办事处。而这时担任共产党总书记的陈独秀对此却麻木不仁。刚从国外回到武汉的汪精卫，虽然高喊“革命的向左来，不革命的滚开去”，俨然一个国民党左派领袖，但实际上他与蒋介石也是一路货色，对蒋介石的举动也毫无异议，武汉方面既然毫无动静，蒋介石自认为时机已经成熟，不能再拖了。
本来上海起义胜利之后，在共产党领导之下，组成了上海特别临时政府，蒋介石一到上海便下令解散了，此时上海已无市政府可言。陈果夫出于反共和个人权欲的目的，又给蒋介石出谋划策：“上海目前处于无政府状态，如果我们不赶快成立市政府，那么共党分子就会浑水摸鱼，煽动无知市民，使我们无法控制上海，阻挠清党。因此，成立市政府是当务之急。”
4月6日，蒋介石命令白崇禧派兵查封了在上海的国民革命军总司令部政治部，并逮捕了19名政治工作人员。8日，蒋介石成立了“上海临时政治委员会”，篡夺了上海工人武装起义胜利后由市民选举成立的“上海市民政府”的政权，同一天，蒋介石派陈群对上海各报馆稿件进行审查，规定自即时起，所有刊出稿件必须由蒋介石总司令部指定。4月9日，蒋介石发布上海市戒严令，任命白崇禧为戒严司令。在一切叛变准备停当之后，蒋介石于9日赶往南京。
蒋介石到达南京的当晚，就将南京附近的所有铁路切断，使在长江以北作战的第二、第六两军不能回师南京。然后蒋介石以两个师的兵力，解除了林伯渠的南京卫戍部队三个团的武装。
4月11日，杜月笙以“上海工界联合会”和“中华共进会”的名义，诱骗上海总工会委员长汪寿华到家中赴宴，将其杀害。与此同时，蒋介石在南京密令，“已克复的各省，一致实行清党”。
1927年4月12日凌晨，上海还处在沉睡之中的时候，全副武装的青红帮流氓，身着蓝色短裤，臂缠“工”字符号，冒充工人，自法租界乘汽车出发，奔赴闸北、南市、沪西、吴淞、虹口等区，向那里的工人武装纠察队发动袭击。工人武装纠察队猝不及防，仓促应战。事先已在周围埋伏好的蒋介石反动军队，乘机冲出，以调解“工人内讧”收缴了双方的枪械。上海的2700名工人武装纠察队就这样被解除了武装。
当时，纠察队员牺牲120人，伤180人，当天下午，蒋介石的反动军队占领了上海总工会，并把上海帮会流氓组成的“上海工界联合会”改名为“上海工人组织统一委员会”，盘踞总工会会所，并配合反动军队破坏总工会下属的各分会，逮捕共产党员和工人领袖。
与此同时，帝国主义侵略军也在租界和华界内，疯狂搜捕共产党人和革命群众千余人，送交蒋介石。
面对敌人的疯狂逮杀，上海总工会发出全市总同盟罢工的命令。中午，数万名工人在闸北青云路召开大会，控诉蒋介石反革命军队的罪行。会后，工人群众冲向总工会，并夺回了上海总工会会址。南市区的广大群众也举行市民大会，并列队前往龙华北伐军总司令部请愿。上海市民代表大会还向住在南京的蒋介石致电抗议。
4月13日上午，总工会在闸北青云路广场召开群众大会，会后整队前往周凤歧的第二十六军二师司令部请愿。当这数十万人的请愿队伍行至宝山路三德里附近时，已接到蒋介石屠杀命令的反动军队立即向手无寸铁的工人群众开枪扫射，当场死伤无数。时值天降大雨，宝山路顿时血流成河。
自4月12日至15日，在这次反革命政变中，上海工人300多人被杀，500多人被捕，5000多人失踪。一批优秀的工人领袖、共产党员惨遭杀害，如赵世炎、陈延年、汪寿华等。
在蒋介石发动“四一二”反革命政变的同时，广州的反革命军队也在4月15日向共产党人和革命群众举起了屠刀。除此之外，蒋介石还在南京、无锡、杭州、宁波、福州、厦门、汕头等地屠杀共产党人和革命群众。
蒋介石、陈果夫等发动的“四一二”反革命政变，激起了革命人民的无比愤慨，武汉政府和共产党人对蒋介石的大屠杀表示强烈的抗议。4月18日，武汉国民党中央和国民政府发表声明，表示继续拥护孙中山的三大政策．推进国民革命，怒斥蒋介石等人的反革命罪行，并发布了《免蒋介石本兼各职令》，委任冯玉祥接替蒋介石总司令职务，并任命唐生智为副总司令。命令指出：“蒋中正屠杀民众，摧残党部，甘心反动，罪恶昭彰。已经中央执行委员会议决，开除党籍，免去本兼各职。着全体将士及革命民众团体拿解中央，按反革命罪条例惩治。”命令宣布，蒋介石所统辖的第一集团军之第一、第二、第三、第四各方面军及总预备队，统归军事委员会指挥。武汉国民党中央同时宣布开除陈果夫、张静江等人的党籍。
4月15日，蒋介石把几名中央执、监委召集在一起开会，并非法作出了只有中央全会才能做出的决议：一、以南京为国都；二、取消武汉不合法之中央党部；三、取消武汉国民政府；四、取消跨党分子党籍等八项决议。4月17日，蒋介石在南京成立国民党中央。次日上午，蒋介石又在旧江苏省议会举行典礼，成立南京国民政府，胡汉民任政府主席。