陈果夫为了加强对国民党的控制和对共产党及其它党派的防范，决定对国民党组织部进行整顿和改组。为了培养一批新的国民党骨干分子，陈果夫决定成立一所中央党务学校，他们设想将党务学校办得像黄埔军校一样，成为一所政治专门学校。
“四一二”反革命政变后，7月，在武汉的汪精卫宣布同中国共产党决裂，高喊“宁可枉杀千个，不使一人漏网”，“本人愿为杀共之刽子手焉”，也开始了清党。
一时之间，“反共”、“清党”成了国民党内最时髦的口号。
4月底时，蒋介石在一次会上声称：前期“清党”虽以“极能捷严厉之手腕，扑灭共产党徒之逆谋，摒除共产党徒于党外”，但“各地仍有该党余孽暗中活动，或仍匿旧时共产党机关，藉口已经改组，巧自粉饰，或插入新兴团体，从中捣乱”，因此，还必须继续清党。
7月，蒋介石指令成立“清党委员会”。陈果夫、陈立夫表面没有在委员会中担任职务，但“清党委员会”的7名委员中，曾养甫、段锡明、吴倚沧、郑异、萧佛成等5人却是M陈的亲信，他们对二陈是言从计听，实际上二陈控制了“清党委员会”。
本来“清党”是由蒋介石首起，但汪精卫撕下“革命”的伪面具之后，不甘心“清党之功”为蒋介石一人所得，也极力想争夺“清党”之权。无奈“清党委员会”已为二陈控制，汪精卫实难插手。国民党中央组织部部长由吴倚沧代理，他是陈果夫一手提拔上来，也根本不理会汪精卫。因此，在蒋介石被桂系“逼宫”下野之后，蒋介石仍能通过二陈来“清党”，而汪精卫则无法介入。
1928年初，蒋介石重新上台，陈果夫被推暂时维持中央组织部部务。蒋介石再次强调“清党”是当务之急。陈果夫与蒋介石心意相通，遂在这年2月南京召开的国民党二届四中全会上极力鼓吹“清党”。
在这次会议上，陈果夫参加拟定的提案几乎占了会议所有提案的一半。这些提案系统的阐述了“清党”的理论、方法。程序。
陈果夫等认为：“清党时间倏逾半年，共产党之逆迹固以大暴国中，本党精神亦日就淹没”。在他看来，共产党员从国民党机关中清除出去，但现在国民党的组织形式，工作方法，所用理论均来自共产党。“是昔者以共产党操纵国民党，今则以国民党继承共产党”，因此，“非将容共期（指国共合作期）中之理论与方法，一举清之不可”。强调现行“清党”就是要清除共产党的理论与方法。
陈果夫首先强调要树立“自己的理论”，也就是被他们篡改了的三民主义。他攻击共产党的理论“为破坏，为阶级斗争，为反科学，为虚伪不择手段，为以民众为工具，为分裂三民主义为三个一民主义，为造成全民恐怖，为使中国产业由落后而至于绝灭，为这断中国在国际间取得平等优裕的机会，为打破国民革命军的基本力量以培植爪牙”。因此，非以自己的理论来反对共产党的理论不可。
会上陈果夫多次发言，陈述自己对于清党的主张，他认为，要使清党运动能收到实效。必须与整理党务结合起来，把整理党务作为清党的一个重要内容。为此，他与蒋介石、丁惟汾一起拟定了一个整理党务的提案交大会讨论。为了使清党有法可依，他又与蔡元培等人提出了《制止共产党阴谋案》等。这些提案对清党的理论、方法和程序进行了系统的阐述。
至于如何清党和整理党务。陈果夫等的提案作了具体的布置。第一、关于基本理论。他们提出国民党要树立自己的理论，为此要“制定管理党报及党的一切刊物条例”，以利于宣传“三民主义”。第二，关于组织。陈果夫等主张：“废除容共期内一切民众运动方式”；“严厉取缔农工间武装集团及潜伏暴动性之秘密结合”“各地畸形农工集团一概取消”；“取消各省党部以下畸形、残破的党部”：“省党部未正式成立时，由中央指定各省登记委员，专办全省党员登记，限期完成整理党籍工作”，“废止中央及各级之农民、工人、妇女、青年。商民等部，只设组织、训练、宣传三部，于必要时设特种委员会辅助之”；厉行监察委员会职权，监察委员会及指导中央及地方特种刑事法庭”。第三，关于整理党务的方法。陈果夫等提出：整理党务要经过四个阶段，即．总登记、总考查、彻底训练、彻底改组各级党部，先由中央成立考查委员会，考查各地曾任省级及与省同级部的委员；再由中央选派委员指导员组织各省党务指导委员会；然后由省党务指导委员会选派指导员组织各县市的党务指导委员会，分级考查各地的国民党党员。凡经登记合格者为预备党员；凡经考查合格者为正式党员；凡经长期考查与训练合格者为基本党员，在此基础上成立各地的国民党党部。
这次会议通过了陈果夫等人提出的各种提案，决定首先改组国民党中央机构，取消农民、工人等五个部，只设组织、宣传、训练三个部，并决定对国民党的各级党部进行整理，对党员重新登记。陈果夫在会上由于表现“出色”，被选为中央监察委员、民众训练委员会委员及常委。
会后，陈氏二兄弟即着手对国民党各级党部进行整理，他们决定首先从反共分子中选出“精英”人物，作为党务指导员，分派到全国各地主持清党。为此，他们对革命时期国民党内一些极右派人物逐一进行考查，凡是积极反动的，都被挑选出来，作为党务指导员的人选。然后让这些人参加中央组织部的各项工作和各种会议，使其熟悉环境，并从中观察其政治立场和工作能力。
经过一段时间的考查之后，二陈便从这些人中选出一些思想极端反共而又忠于国民党的“优秀”分子，担任党务指导员，分派到各地去主持清党。
陈果夫对这次行动非常重视，他把它看作是扩充陈家势力的好机会，所以这些党务指导员都必须对自己效忠，才能得以选用。在党务指导员出发前，陈果夫对他们逐一召见，反复交待，要求他们到各省市后认真考查挑选一批反共骨干分子到各县市担任党务指导员，指导各基层清党工作。
这些党务指导员到各地后，打着整理党务的旗号，将共产党员和国民党左派分子及异己势力全部驱逐出各级党部，重新进行改组，由二陈亲信们取而代之。这样，经过几年的时间，全国各省市的国民党组织完全被二陈所掌握，各地主宰党权的均为二陈的亲信。如江苏的马元放、浙江为张强、许绍棣、罗霞天、方青儒、郑异、叶溯中、胡健中，安徽为余凌云、张德流、魏寿永、湖北为文毓英、杨锦昱等，江西为王冠英、刘家树、李中襄，河北为陈访先、詹朝阳、胡梦华，山东为赵伟民等，河南为陈伴岭、王星舟、李敬斋、张廷休，陕西为宋志先等，甘肃为田昆山、凌子惟等，黑龙江为王宪章、王秉钧等，察哈尔为马亮、刘诚宜、郭境恺等，绥远为赵允义、孙国英等，宁夏为沈德仁，青海为燕化棠、方少云、李天民，南京为方治，上海为潘公展、音行白、陶百川、陆京士、吴开先，北平为陈石泉、庞镜塘，青岛为李汉呜等，汉口为李翼中、吴企云、单成仪等。这样，二陈通过这批亲信实际控制了全国各地的国民党组织。
在整理各级党部的同时，陈果夫还对国民党党员进行重新登记。为了从严把关，陈果夫命令各级党部在党员登记期间一律停止活动，听候中央派员整理，所有党员一律重新登记。
党员登记时，应慎重考查，曾经加入本党以外的任何团体者，必须切实声明与该团体脱离关系。登记的党员必须绝对遵守纪律，不得违反党纲党章及一切决议案之主张，必须绝对服从党部之决议及命令。在登记过程中，所有国民党员均要填交审查表，审查表中有关于政治信仰的栏目。根据陈果夫的指令，填表者要在这些栏目中回答到三民主义及共产主义的认识并加以区别，审查机关将以此来测验填表人的政治倾向，这是决定其登记与否的一项重要标准。然后审查机关派员开展调查，在调查基础上进行评审。凡发现有共产党嫌疑或亲共言行的，由军警部门配合，进行清除、缉拿、逮捕、关押直至杀害。通过这种手段，陈果夫不仅从各级国民党组织中清除出共产党也清除出国民党左派及异己分子。这样，孙中山所创建的国民党，从组织到成员，其性质都发生了质的变化。
陈果夫在全国主持清党运动和整理党务的同时，为了加强对国民党的控制和对共产党及其他党派的防范，决定对国民党组织部进行整顿和改组。在部下只设普通组织科、海外组织科、军人组织科、编审科、调查科、总务科等。其中尤以调查科最为重要，陈果夫将该科进行扩充，调进一些亲信，并由陈立夫任该科主任。陈果夫通过这次改组，把国民党组织部牢牢控制在手中，其中主要成员多为二陈派人物。
调查科的主要任务就是收集党内各种资料，及党员状况材料，打击和镇压共产党人及国民党内反蒋派系。
陈果夫通过清党，不仅捕杀了大量的共产党人，而且也对国民党其他异己势力采取逮捕、杀害，如改组派成员王乐平。唐有壬，政学系头目杨永泰等均被暗杀。而陈果夫正是在主持清党中发展了自己的势力，日益得到蒋介石的信任，在国民党中的地位也日益巩固和提高。1929年3月，国民党三全大会上，在蒋介石的帮助下，陈果夫当选为国民党执行委员会委员、三届一中全会被推为常委、组织部副部长，在此前当选为国民政府委员、监察院副院长。陈立夫也由一无名小卒跃为国民党中央执行委员，还当上了中央秘书长。二陈手下的曾养甫、余井塘、张道藩、程天放等都进入中央执行委员会，张厉生余井塘担任了组织部的秘书。二陈势力在国民党内扶摇直上，咄咄逼人。
据陈果夫的亲信庞镜塘在解放以后回忆：
“自1927年蒋介石发动‘四一二’大屠杀之后，国民党中央及各省市党部都组织有‘清党委员会’，以贯彻其彻底清除进步力量的阴谋策划。在中央方面，以中央执行委员会组织部为主，成立五个人的委员会，专任党内排除异己的勾当，除于‘四一二’在上海和各地实行搜查检举，进行大规模的大屠杀外，对党内具有进步思想或在某些表现上同情共产党，反对过蒋介石的成员都诬为‘反动分子’，多方进行搜查和检举，罗织‘叛党’的罪名，加以杀害或长期关押。例如在广州‘四一五’以后，杀害了萧楚女、熊雄、安体诚等。过了几年，还在天津捕杀了韩麟符。又长期关押黄埔军校第五、六期的学生多人，直到其自首或叛变革命以后才予以释放。在其他各省市，持续至一二年之久，还在多方进行迫害，必至置诸监狱而后已。就全国范围而论，被害的人数，竟至以数万计。
“在各省市清党委员会结束后，各省市党部改组为指导委员会或整理委员会，办理党员登记，重新确定党籍，以思想进步或被认为思想动摇的党员，多方予以刁难’，不使恢复党籍，或进一步施以迫害。……重则以绑匪和流氓的种种手段，进行暗杀，轻亦秘密关押，使其长期失掉自由。因而在这时期，各地的进步人士宣告失踪的时有所闻。”
“清党”虽然都是二陈的亲信在各地主持，但陈果夫、陈立夫总是不放心，担心出什么问题。兄弟俩常在全国巡视。1928年6月4日奉系军阀张作霖被日军炸死，东北局势开始紧张。在复杂而严峻的形势下，年仅27岁的张学良，在父辈们的辅佐下，沉着应变。他对父亲的死，秘而不宣。致使日军模不着头脑。接着他化装返沈，稳定奉系领导集团，掌握了东北的局势，然后宣布父亲身亡消息，并同时宣布继任奉天军务督办。日本帝国主义企图利用这次事件武装占领东北的阴谋归于失败。
这时日本派人鼓动张学良宣布东北独立。南京方面也与张学良取得联系，希望他和平归顺南京政府。张学良从民族利益出发，置日本帝国主义的威胁利诱于不顾，于1928年12月29日，毅然通电易帜，归属南京政府。至此，国民党政权获得了形式上的统一。
政权统一之后，蒋介石为了削弱国民党新军阀的军权，召开了编遣会议，决定把全国军权收归中央，遭到各派反对。蒋介石与各实力派矛盾由此激化，只能诉诸武力。国民党新军阀混战爆发了。
到了1930年初，蒋介石在与各派军阀混战中，大获全胜。就在这一片胜利喜悦之中，一场更大规模的军阀混战正在酝酿。
战争于1930年4月开始，由于这次大战，各方投入的兵力空前绝后，主战场在河南、山东、安徽、陕西等省，故此被称为中原大战。
中原大战以蒋介石的取胜，冯、阎、桂的失败而告终。10月，冯玉祥到石家庄同阎锡山会面，商定间将晋军改编交给徐永昌，冯将西北军交给鹿钟麟，他们二人出国暂避，实际均未出国。
这时蒋介石急忙要回师江南对付红军，他为善后问题的处理故意显示宽大，要冯、阁下野，将收拾华北残局的全权交给了张学良，对河南方面的军事也摆出一了百了，以政治和平解决的姿态。华北、东北归属国民党不久，陈果夫、陈立夫随即派人前往京津地区主持党务。
1929年夏，陈果夫赶到北平，亲自指导北平地区的“清党”。他担心北平归属不久，国民党势力不强，害怕共产党乘机插入，不得已，只好亲自跑去。北平的记者早已风闻陈果夫的到来，纷纷来到陈果夫下榻宾馆，想进行采访。但陈果夫却怕记者中有共党分子，又怕有些刁钻的记者问些问题使自己下不来台，便一概谢绝采访。但记者们并不死心。
一次，张学良请客，陈果夫身着长袍马褂信步走进餐厅，不料刚迈进大门，一群早已等候在那里的记者蜂拥而上，将陈果夫围在中间，陈果夫无法突围离去。而这时离人席的时间尚有十几分钟，陈果夫急得有点出汗了。忽然他灵机一动，采取先发制人的办法，满脸堆笑，不等记者提问题，他先问了起来，问那些记者在什么报馆工作，问报纸的发行情况，问编辑工作的情况，实在无话可问之时，便假装咳嗽。这样好不容易拖到了宴会人席时间，陈果夫立刻收起了笑脸，冷冰冰地抛下一句“对不起，我要人席”。便径自而去。事后，陈果夫为能逃过记者的发难而洋洋自得地说：“他们对我一无所得，而我反做了新闻记者的新闻记者。”
陈果夫意识到想维护蒋介石在中国的统治，就必须把国民党组织大权掌握在手。国共合作时期，共产党有许多得力人才，所以国民党组织内显得人才济济，如今清党后，不仅国民党中的共产党人被清洗掉，相当一部分国民党员也因深受共产党宣传的影响，而立场游离，已不能胜任反共的责任，国民党人才匾乏的问题便显得十分突出。因此，陈果夫认为，要完成清党任务，推行一党专制，必须培养一批新的国民党骨干分子。于是，陈果夫与戴季陶、丁惟汾等人商议，决定成立一所中央党务学校，以培养高级党务人才为宗旨，使之与培养军事人才的黄埔军校一样，成为国民党一文一武两个专门学校。’陈果夫等人商谈了党务学校的办学宗旨、方针及招生、师资、校址等问题，并拟出详细书面报告，交蒋介石审阅。蒋介石看了后，拍手叫绝，立即命令付诸行动。1927年5月，南京国民党中央会议正式决定在南京设立中央党务学校，直属国民党中央党部，蒋介石自任校长，戴季陶任教务主任，丁惟汾任训育主任，陈果夫任总务主任。蒋介石、戴季陶、丁惟汾等人只是挂名，真正负责人是陈果夫。
由于得到蒋介石的重视，所以该校创办时无论是经费还是资筹方面都得到很好的解决。陈果夫亲自参加招生录取工作，从当时2000多名报名者中，经过严格的口笔试录取了340名。
为了把这批学员培养成效忠于蒋介石、陈果夫的国民党党棍，陈果夫亲自为学校制订了“亲爱精诚”的校训，要求学员们亲爱团结、精诚一致，拥护蒋介石，形成国民党内以蒋陈为代表的新兴势力。
党务学校的教学内容分政治训练和军事训练两种，以培养全能人才。政治训练就是对学生宣传蒋介石的言论和戴季陶主义，通过这些反共教育，培养学生仇视共产党，仇视革命的情绪与精神。除此之外，还训练学生主持会议，控制会场，指定发言，公众演讲等多种技能，以适应将来从事各种反共工作的需要。军事训练，就是将学员生活纳人军事管理之中，并进行军校学生所必须进行的训练，培养学员的军事素质和所谓的“军人魂”，即蒋介石所提倡的仁、智、勇的精神。
1928年6月，中央党务学校的第一期学员，在陈果夫的精心培育下，有274名被认为成绩“合格”，准予毕业。其他学员则因对蒋介石不够忠诚，反共思想不坚决等未能毕业。
1929年6月，蒋介石为了培养更多的训政人才，把中央党务学校改名为“中央政治学校”，学制四年，主要培养国民党训政时期的党务和训政人才。蒋介石续任校长，丁惟汾任教育长。学校增设校务委员，陈氏二兄弟均担任校务委员。后来教育长也由陈果夫接任，实际中央政治学校大权仍握在二陈手中。
1929年吕月，第一期录取67名新生，在开学典礼上，陈果夫说，“中国旧思想难祛除。现在普通人民，其思想与在专制时代，并无二致。”因此他要求学员学成后去做教育人民的工作。所以今后“如果有一个人不明白三民主义，那就是我们的责任”。这就是说，要利用国民党的思想来钳制人民的思想。
二陈为了使中央政治学校能像黄埔军校一样，成为培养国民党干部的基地，他们做了很多工作，在学校的培养目标、教育内容、招生原则、科系设置等方面做了硬性规定，使这所学校成了一个包罗万象的大杂烩。同时每年二陈还从毕业生中选派三至五名学生出国留学深造。
二陈对学员们管理是非常严格的，学员稍有越轨行为，特别是政治思想上有进步表现，即行处置或开除。
有一次，学校内有三名学生在闲谈，对国民党“围剿”红军、压迫民众的政策有微辞，很快为学生中的奸细告诉校方。校方二话没说，即以“共产党”罪名予以开除。有位具有正义感的教师觉得处理太重，便找到陈果夫，向他说情，希望校方能宽恕这三名学生。但陈果夫毫不通情。他冷冷地回答：“学生好比一筐广柑，这三个学生好比是三个烂广柑。烂广柑一定得拿掉，否则就会影响别的。”这位老师再三恳求，陈果夫漠然不理。
有时即使只是违背了校纪，陈果夫不问青红皂白，也予以重罚。中央政治学校所在的南京，有“火炉”之称，一到夏天，便酷热异常，令人难以人睡。有一年夏天，一名学生在宿舍难以人眠，便忘了校方要求午睡的规定，出了宿舍，信步走人了大礼堂，觉得里面十分凉爽，就在礼堂的长凳上睡着了。校方发现后，把他叫到军训总队部，进行严厉批评，说他在礼堂睡觉是违犯纪律，有伤风化。这个学生不服气，认为大礼堂躺了一下，无伤大雅，便与总队部人争吵起来。陈果夫知道后，勃然大怒，训斥该生：“学生在中央政校即是学生，也是士兵，谁要不守纪律，要按军法处置。”随后指示校方，以“目无长官”的罪名将这名学生开除。正是在陈果夫的“严格”要求下，中央政治学校的历届毕业生，都成了陈果夫的效忠者。当时社会上就普遍流传：“中央政治学校出来的学生，脑门都刻着‘孝忠’两个字。”