孙中山逝世后，蒋介石提出“整理党务案”，共产党人谭平山、林祖涵、毛泽东分别辞去国民党中央组织部长、农民部长、代理宣传部长职务。蒋介石当上了中央组织部长。谭延闿对蒋介石说：“果夫有办法。”
蒋介石在政治上最先追随陈其美，陈其美死后，他追随孙中山。孙中山死后，他逐渐走上了政治前台。可是这时的蒋介石，在政治上并没形成自己的势力。张静江、戴季陶、吴稚晖等人支持他，但这些人都是国民党的元老，无论是功劳、资历、党龄、年龄和威望都比蒋介石高得多，他们支持蒋介石，很有点奖掖后进的样子。是看到蒋介石后生可用，在政治上扶他一把。对这样的人，蒋介石只能是秉承他们的旨意办事，而不是他们秉承蒋介石的旨意办事。他们虽然支持蒋介石，但蒋介石对他们喝五呛六，去指挥他们，显然不行。如果蒋介石不听话，他们还要教训他一番。这些人蒋介石不敢也不能指望让他们在自己的指挥下按自己的意图办事。
黄埔军校成立后，蒋介石在军事上的成功使他在广州革命军队中的地位急剧提高。但是，黄埔军校的教员和学生们，一者不愿从事党务工作；二来由于年纪轻、资历浅，没有党务工作经验；再加上掌握国民党党权的胡汉民、汪精卫等人也不允许黄埔军校的学生们插手党务，所以蒋介石很难在党务系统形成自己的势力，甚至在广州连一个自己的忠实的支持者也很难找到。
蒋介石想染指党权，但在孙中山逝世以前，他一直没有获得机会。孙中山的目标是让蒋介石专力办军，党务上的事情不要过问，所以在1924年国民党“一大”上，蒋介石在国民党内只获得了一个中国国民党中央执行委员会军事委员会委员的虚衔，蒋介石虽然对此愤愤不平，但也无可奈何，只能听之任之。孙中山逝世以后，蒋介石以其平定商因叛乱，平定刘杨叛乱和两次东征打垮陈炯明的显赫战功为后盾，利用国民党高层各巨头互不相容的矛盾，在张静江、戴季陶等人的支持下，于1926年1月国民党二大上当选中央执行委员，随后在1月22日的国民党二届一中全会上当选中央常务委员。
1926年5月15日，蒋介石在国民党二届二中全会上，以“消除疑虑，杜绝纠纷”和“改善中国国民党与共产党间的关系”为名，提出了四个“整理党务”的提案。该提案规定：共产党须将加入国民党的共产党员名册交给国民党中央执行委员会保管；共产党不得担任国民党中央机关的部长；加入国民党的共产党员担任国民党中央党部、省党部、特别市党部的执行委员名额，不得超过总数的1／3；共产党中央发给参加国民党的共产党员的指示要交国共两党联席会议通过。
蒋介石提出“整理党务案”完全是以中派的面目出现的。当时在广州国民党右派的势力非常猖撅，很多国民党元老人物要求将共产党清理出国民党。蒋介石提的带有折衷色彩的提案终于为双方所接受，国民党右派觉得他们终于实现了部分清党的目标，共产党为避免受过多的指责，也乐于接受此案。于是提案被通过。接着，共产党人谭平山、林祖涵、毛泽东分别辞去国民党中央组织部长、农民部长和代理宣传部长的职务。
根据这一提案，选举了蒋介石的把兄弟张静江为中央执行委员会主席，蒋介石取代谭平山当上了中央组织部长并兼任新设的军人部长，邵元冲为青年部长，顾孟徐取代毛泽东任宣传部长，甘乃光取代林伯渠任农民部长，叶楚怆取代刘伯承任中央秘书处书记。这样，在国民党中央党部完全排挤了共产党人。
出任国民党中组部部长固然为蒋介石控制国民党准备了条件。但此时蒋介石还担任国民党军事委员会主席和国民革命军总司令，北伐也正在准备之中，军务繁忙，使蒋介石无暇“整理党务”。而此时国民党务系统中，蒋介石却没有一个自己的亲信来忠实执行自己的意图。为了巩固和发展自己在党内的势力，蒋介石必须找出一个这样的人来“整理党务”。
在国民党党务系统，由于以前蒋介石不能插足，他是没有丝毫根基的。所以，他不得不在广州以外另找人选，这就给陈果夫掌握国民党权提供了机会。
谭延闿推荐了陈果夫。他对蒋介石说：“果夫有办法。”蒋介石对陈果夫也颇为中意。
办党务工作，蒋介石本来最佩服陈其美。1928年，蒋介石曾非常感叹地说：“如果英士先生不死，可以办党，我自己则专心军事；而由膺白（黄郭）办政，可以分工合作。无奈膺白却只愿做一客卿，无意参预党的政治。”在这里，蒋介石不仅是看到了陈其美和黄郭在党务和政务方面的能力，还有一点非常重要，就是陈其美和黄乳都是蒋介石的盟兄，在蒋介石看来绝对可靠，所以才让他们一个主党；一人主政。而在1926年的广州，蒋介石除了一帮领兵打仗的黄埔教师和学生外，在党务系统找不到一个既有一定的资历能力，而又忠于自己的人，他只能从故旧中寻找得力的助手。
由于缺少可靠的帮手，当蒋介石刚出任黄埔校长时，就曾致电陈果夫前往帮忙。但这时陈果夫一方面由于生病不能立即前往；另一方面，蒋介石已在广州干了六七年，过去的情况常常是升官以后不久就辞职，蒋介石能否在广州站住脚，尚属疑问，所以陈果夫不敢贸然前往。蒋介石是一直未忘记扶植陈果夫的。1926年1月，在国民党第二次代表大会上，在张静江。蒋介石的支持下，陈果夫当选国民党中央监察委员。蒋介石出任国民党中央组织部长后，再次邀请陈果夫前往广州帮办党务。陈果夫这时看到蒋介石在广州已掌握党权和军权，大权在握。于是和其叔叔陈其采一道，于1926年6月离开上海，前往广州。到广州后，陈果夫立即被任命为国民党中央组织部秘书，代替蒋介石主持国民党中央组织部工作。
陈果夫接收组织部很是顺利。一个重要原因即是陈果夫以前从未办过党务，共产党对他不甚注意。而陈果夫从前对于党务的意见也仅限于人云亦云式的“党外不能有党”的主张，国共双方对他均无恶感。因此，陈果夫作为国民党中央监察委员，本来是不能出任组织部的职务，但由于国共双方对此均无异议，陈果夫也就毫无阻拦地接收了中组部。
陈果夫接收中组部之后，认为国民党亟须整理。在他看来：“我们的党务，好久无人顾问了。老同志中有不愿与共党合作而灰心的，也有被杀的，也有因互相斗争而离开广州的，也有被共党挑拨离间而不敢过问党务的。中央秘书处由三个共产党员林祖涵、谭平山、杨袍安在把持。可以说本党已经为共产党完全篡夺去了。在各省市方面，党务大半为共产党所主持。即未为所夺，也一定分为左右两派，常向中央互相攻汗，党务不能进行，下层已无基础可言。在这种情况下，对于用人十分困难。”定先从用人下手来整顿中组部。
陈果夫初人组织部的时候，部中共有29人。对这29人，陈果夫经过缜密的观察调查，认为真正称得上“同志”的只有三位，其余都是共产党人，或受共产党影响的人。明了部中的情形后，陈果夫就开始消除组织部里的共产党人。
首先，在请示蒋介石之后，陈果夫采用突然袭击的办法，不与任何人商议，即在部机关会议上宣布将杨某、骆某强行调出。同时又将国民党人段锡朋、王乐平两人拉人组织部，顶替杨某、骆某。杨某是共产党人，骆某则是国民党人，但是陈果夫有了两位“同志”，也只好牺牲另一位“同志”了。
在调人段锡朋、王乐平二人之后，陈果夫即开始办理党员重行登记调查工作，对部队人员厉行考核。凡是自己的“同志”即予以升级，而对嫌疑分子、共产党员，拉拢不成，则是打击。当时秘书处三秘书之一的杨袍安是共产党员，对陈果夫的这一套，强烈加以反对。事务组有两个姓杨的，在陈果夫看来，工作都很勤奋，特子升级。但杨袍安认为不应于此时升级，加以阻止。由于陈果夫在接替杨袍安组织部秘书的职务时，蒋介石曾假惺惺地表示陈果夫有事多与杨袍安商量，杨袍安自有理由干涉此事。但陈果夫认为提升两杨的人事命令既已公布，就不能收回。可是隔了两天，两杨忽然辞职，报说被杨袍安调往他处工作去了。实际上是杨袍安怕他们为陈果夫拉拢利用之故。不过两杨既定，部中总算有两个空缺，陈果夫立即把郑异、萧挣两人补充进去。又有一个姓莫的，陈果夫认为他表现很好，因此尽管照规则这位姓莫的不能再升级，但陈果夫还是给他办了。杨袍安因此责问陈果夫，不应该破坏章则。陈果夫回答说：“工作特别好不能没有奖励；我想由我自己来补足他应得的薪给。”莫受奖之后，对陈果夫颇为感激，陈果夫又多了一位“同志”。
有时，陈果夫对有重要地位的共产党员采取不分配工作，不让开会的办法，让他们无所事事，逼迫他们自动辞职。那时部里面有一位干事，专司民众组织工作，广州市民众组织完全归其指导。这位干事姓谭，在共产党中占有重要地位。陈果夫借口他兼职太多，每次开会常常不能到部请示或报告为由，多次想要撤换他。一次，要召开一个重要会议，陈果夫派人去找他回来参加，可不知怎的，姓谭的干部居然没有参加，不知是没找到，还是通知了没来。反正，这位干部没能出席会议，一个星期后。他才回来，因为耽误了工作，这位干部也无颜呆在部里，只好申请辞职，陈果夫立刻批准了。
在清除共产党人的同时，陈果夫又将大批国民党右派安插到部里，如曾养甫、郑异、萧挣等，都子以重用，甚至连反孙中山的陈炯明的亲信吴倚沧，也被陈果夫安排担任组织部秘书，负责秘密工作。这样陈果夫完全控制了组织部。回忆起这些事情，陈果夫颇为得意。
“组织部人事经此不断调整，并将各部门负责人逐渐改用本党同志，对外才得顺利发展，而部内与各方表面接洽之事，完全由我自己负责，秘密工作则（吴）倚沧同志负责，外人不知也。
“经过这样的几次事件，章则已有改动，用人也自然比以前自由。迁都南昌之时，部中仅留有共党三个，其余的都是纯正的本党同志了”。
陈果夫在组织部内清党的成果使得蒋介石对他刮目相看，并对陈果夫能如此清楚地领会、执行他的意图，感到无比的喜悦，庆幸自己反共有了一个好帮手。
原来此时蒋介石虽已发动了反共的“中山舰事件”，“整理党务案”，但他羽．毛未丰，势力未厚，他不愿过早地破坏国共合作，引起国共统一战线破裂。更何况北伐在即，他需要共产党人来帮助他北伐，以扩大个人的威望。陈果夫清党“成绩卓著”，却没有用什么过激的手段来清除共产党，而是一点一点地达到了目标，并没有引起共产党的强烈反对。
在蒋介石看来，陈果夫反共确有办法。
1926年6月，广州国民政府任命蒋介石为国民革命军总司令，统率海陆空三军。
7月，国民党召开M届临时中央全体会议，承认蒋介石为中央党部军人部长，原任组织部长一职由陈果夫代理。
国民党中央组织部部长是个肥缺，陈果夫在短短的时间内，能得此肥缺，一方面固然是其反共有方，另一方面也确是蒋介石大力扶持的结果。因此陈果夫对蒋介石感激涕零，更加忠心地执行蒋介石的旨意。
陈果夫在出任组织部长之后，对部里的事务尽力避免与共产党下面接触，但暗地里，与代理国民党中央执行委员会主席的张静江相勾结，进一步实施“整理党务案”。