张静江对蒋介石说：“清党，果夫有办法。”陈果失果然不负蒋介石所望。
自从1926年2月蒋介石制造打击共产党的“中山舰事件”以后，虽一再排斥共产党，但由于他采取了比较隐秘的办法，共产党在很长一段时间以后才发现蒋的真实面目。蒋介石电召陈果夫代他整理党务，陈果夫主持国民党党务以后的各种做法，和蒋介石简直如出一辙。
在蒋介石出任国民党中央组织部长之前，组织部部长是谭平山，秘书杨匏安，都是共产党员。在这个时候，国民党与共产党已经开始斗争。陈果夫能顺利接收组织部，要追溯到过去两年的情形。1924年国民党改组以后，国民党已出现分裂的迹象，那时陈果夫对党务，并未闻问。后来他奉蒋介石之命，在上海担任招募新兵、学生及黄埔后方勤务工作，因为职务上需要与各方面接触，国民党与共产党中的一些人，均去问他对于党务的意见。他除了答复“党内不能有党”的主张外，其它什么也没有表示。同时双方面都要他登记参加，他都没有答应，因此各方面对陈均无恶感。等到陈出任组织部秘书以后，多数共产党以为陈没有直接办过党务，所以对他不甚注意。共产党中认识陈果夫的人，也认为他没有参加过任何反共组织，是比较超然的人物。所以他到国民党中央党部接收组织部秘书职务，也未受阻碍。陈果夫是国民党中央监察委员，本不应出任组织部的职务，但由于他地位超然，即以中央监察委员的资格任组织部重要职务，也无人批评。
从上述陈果夫接收国民党中央组织部的情形看，蒋介石任命陈果夫为组织部秘书，确实是比较高明的，既安插了自己的亲信，又未引起敌人的反对。
陈果夫接收组织部之后，认为国民党党务已经荒芜，急需整理：国民党中“老同志中有不愿与共党合作而灰心的，也有被杀的，也有因互相斗争而离开广州的，也有被共党挑拨离间而不敢问党务的。中央秘书处由三个共产党员林祖涵、谭平山、杨的安在把持。组织部完全在共产党之手。宣传部也半入于共产党之手。其他各部均在共产党操纵之下，本党无法闻问。可以说本党已经为共产党完全篡夺了。在各省市方面，党务大半为共产党所主持。即使未为所夺，也一定分为左右两派。常向中央互相攻讦，党务不能进行。下层已无基础可言。”在这种情形之下，陈果夫决定首先从用人下手。
陈果夫初入组织部的时候，部中共有29人，陈从名册及思想方面加以缜密的观察调查，发现只有三位算得真正的国民党，其余都是共产党员。其中一部分又为杨匏安、谭平山的族人。在此种形势下，陈认为工作无从下手，就请示部长蒋介石，蒋要陈果夫与丁惟汾、顾孟余商量。丁顾二人就介绍段锡明、王乐平两人加入组织部中工作。由于部中并无空额，加进两人，就不能不去两人。陈果夫就解了两个人的职，一为共产党杨某，一为文书干事骆用弧。——骆是国民党分子，大家都知道。就有何香凝等提出质问，其实就当时环境而言，初次更动人员，为加入国民党分子，排出共产党员，为避免引起争端，陈果夫也只能如此。不久，陈果夫另为安置了骆用弧。
完成了初步的人事调整，陈果夫立即开始清党。开始办理国民党员重行登记及调查等工作，同时对部内工作人员厉行考核。事务组有两个姓杨的，工作都很勤奋，陈特予升级，以示奖励。杨匏安认为不应于此时升级，加以阻止。因为陈果夫接杨匏安之职务时，部长蒋介石曾关照陈有事多与杨商量，所以杨有理由干涉。但陈果夫认为命令已公布，不能收回。隔了两天，那两个姓杨的忽然辞职，据说被杨匏安调往他处工作去了。这是杨匏安怕他们为陈果夫所用之故。不过无论如何，两杨既走，部中总算空出两个缺，陈立即发表郑异、萧铮两人补充。有一个姓莫的，工作表现很好，陈给他升了级。但照规则已无可再升，因此杨匏安责问陈果夫，不应该破坏章则。陈回答说；“工作特别好不能没有奖励；我想由我自己来补足他应得的薪给。”莫某受奖之后，对陈颇为感激，杨匏安对此很不高兴。不久，又将莫调往他处。陈果夫要求免调，杨不肯，只好准莫某走了。他的遗缺，陈果夫自然又补进自己的亲信。组织部里面有一个干事，专管民众组织。广州市民众组织完全归其指导。这位干事姓谭，在共产党中占有重要地位。他兼职太多，每次开会常常不能到部请示或报告。陈果夫再三嘱咐他要按时参加部内会议，但他始终不能履行。有一次重要会议，在开会前，陈果夫因为关系重要，派人去找他回来参加。没有找到，隔了一星期他才回来。因为耽误了工作，只好辞职，陈果夫立刻照准，改派曾养甫继任。从此广州市民众运动的指导权，转入了国民党之手。经过这样的几次事件，陈果夫逐渐控制了国民党中央的人事，对于章程规定，也有所改动。北伐时国民党中央组织部迁到南昌之时，部中仅留有共产党员三个人，其余都是陈果夫拉进的亲信。
陈果夫的清党办法是非常厉害的，用尽了金钱、高官收买和排挤、打击之能事。虽然共产党员基本上被清除出了国民党中央组织部，但陈果夫并未用激烈的办法，而是一点一点地达到目标的。当时北伐正在进行中，蒋介石还需要共产党的帮助，从上述蒋介石要求陈果夫有事要和杨匏安商量可以看出，蒋介石既要达到清党的目标，而又不想立即引起国共分裂，导致国共统一战线破裂。陈果夫对蒋介石意图的出色完成，使蒋对他更为器重。所以当1926年临时中央全体会议推蒋介石为军人部部长时，蒋即以陈继任组织部部长。
杨匏安和陈果夫对其它人事问题，也产生了分歧，陈果夫回忆说：“共党对人事问题，还有几次抱着干预态度。例如：每逢广州‘孙文主义学会’的同志有事来接洽，尤其关于介绍人员，事后共党常很快的知道他们所介绍之人，接着杨匏安就会来找我，攻击某某之为人，希望我勿用。此时蒋先生命我匆与共党冲突。在他出发之前，更特别关照我和鲍罗廷接洽。因此我只能抱定方针进行，同时遇有重要事项，随时请示静江先生等然后决定。‘孙文主义学会’同志，对于我和共党的关系，不明我用心所在，乃不免常有误会之处。”
陈果夫在国民党中央组织部清党的同时，也开始插手国民党地方各党部。在陈果失的亲自主持下，首先整顿了广州市党部和广东省党部。随后，将国民党中央组织部内陈果夫网罗的亲信，陆续派往各地担负指导工作。段锡朋、郑异被派往江西；萧铮、王宇春、葛武囗被派往浙江；郭春涛被派往西北，陈希豪被派往上海；张道藩等三人被派往贵州；吴铸人、童冠贤等被派往北平；纪亮被派往绥远；丁超五被派往福建。陈果夫在派这些人前往各省时，明确声明他们的任务是到各省重新登记党员，加强国民党组织，和指导各省冈民党和共产党斗争的方法。
为了和共产党对抗，仿照毛泽东创办的农民运动讲习所，陈果夫创办党政训练所，招收学生一百多人，由国民党中央组织部全力办理。共产党知道陈果夫的用意，便派人参加受训。不到一个月，学生内部就起了分化。陈果夫担任所长，因为事忙不常去，学生们对他感情还好。有一天陈查明有十二个共产党员是训练所中反对国民党的核心，便以思想行为不检点的理由公布开除。双方的斗争于是更尖锐化了。此时广州市公安局长李章达，政治认识上接近共产党，但由于和陈是同学关系，又在辛亥革命共患过难，对于陈的事情还算支持。陈离粤之后，李遂受杨的安影响，因为此时杨担任该局政治部主任，于是逢训练所发生事故，李章达总是支持共产党。1926年12月，训练所学生发动第二次风潮，李没有遵命派警察协助镇压。张静江为此请李济深下令将李免职。而训练所内部问题，也就变成了整个党政问题。经过那两次风潮，被陈果夫开除了的学生竟及半数。但留校的数十个人，在1927年“清党”时，如甘肃、福建、广东、北平、南京等地，该所毕业学生都成了陈果夫的得力爪牙。
陈果夫的清党办法，实际上并不象他所说的那样顺利、有效。利用国民党中央一部分人的支持，他是把共产党人从国民党中央和一些省市的党部中排挤了出去，但是，共产党人利用北伐以后造成的高涨的革命形势，将势力扩展进工人、农民、军队和知识分子中，这使蒋介石看到用政治清党的办法已不适用，所以最后只能发动反革命政变，使用武力清党。
丢了组织部长职位的陈果夫，差点跟着谭延闿站错队，在去武汉大受冷落之后，才又回到蒋介石身边。
在蒋介石的指使下，陈果夫担任组织部长的政治面目本是中派偏右的，但是事态的发展终于使他撕掉了蒙在脸上的假面具。
第一次使陈果夫暴跳如雷的是在1926年10月，国民党中央常会决定在11月召开国民党中央委员及各省市海外党部代表联席会议。在这次大会之前，国民党左派，中国共产党和国民党右派都根据各自的利益紧张活动。在苏联代表鲍罗廷和国民党左派的支持下，出席会议的各省代表中，共产党员占了多数。海外方面，共产党利用掌握海外部的优势，进行了大量的宣传，也取得了积极的成果。陈果夫对此结果非常不满，以致以后指责说：
“有些地方本来推定在国内的本党同志为代表，海外部故意把电报译错了几个字，或把电报搁置不发表，使之无法出席。例如，加拿大推曾养甫为代表，海外部的共党分子，就故意译错了字，幸而审查资格时给我们发觉了。”
在对付共产党问题上，陈果夫是站在后台的，形势的发展，迫使他站到了前台。1926年10月18日，在国民党中央执委会与各省市党部联席会议上，由于张静江的国民党右派立场，共产党和国民党左派严厉地批评了他。张静江自从辛亥革命就和陈果夫有来往，陈果夫主持国民党中央组织部以后，张静江是后台老板之一，张静江受到指责，陈果夫非常不满。张静江一直患有严重腿疾，行走不便，不能上台答辩，于是，由陈果夫代为上台说明。事情的经过是这样：
中山大学有一学生沈某组织了一个专门反共的组织“司的派”，沈某阴谋反共一事败露后，案件由张静江负责处理，张静江大事化小，小事化了，最后包庇沈某过了关。而沈某在过了关后，反共活动更为猖撅，因而在广州的共产党人指责张静江处理沈某“司的派”对付共产党一案，过于宽大，认为失当。而张静江认为沈某以国民党同志地位去反对共产党，案情并不严重。但共产党认为：“反共就是反革命。”在开大会时，张静江为答复共产党责问，要陈果夫上台代为说明。陈说明之后，共产党方面仍不满意。陈果夫临时想到共产党引为证据的种种事情，都是在张静江主持的监委会处分沈某以后才发生的，就用轻松的口气答复说：“监察委员不是神仙，所以对于沈某以警告处分时，又谁能预料未来之事必将发生呢？”暗示沈某的主要行动是发生在张静江处理沈某之后，不能将处理后发生的事和处理前发生的事混为一谈。陈这样的答复，共产党人也意识到了自己在逻辑上的错误，对张不再指责。最后由大会议决，开除沈某党籍，作为此案的结束。
尽管陈果夫渡过了和共产党斗争的难关，但由于国民党内部斗争的激烈，把他也逐渐卷了进去。1927年8月，桂系李宗仁、白崇禧联合蒋的嫡系何应钦，逼迫蒋介石下台，蒋被迫下野。而在此之前，陈果夫受到武汉方面的激烈攻击，被迫于1927年2月10日辞去国民党中央组织部长，改任有名无实的中央政治设计局筹备员，政治会议上海分会委员。组织部长由汪精卫派的干将之一陈公博担任。
当陈果夫辞去国民党中央组织部长时，正值宁汉争斗激烈的时刻。武汉方面，一再要求蒋介石和北伐已经到南昌的国民党各大员，前往武汉，将武汉定为新都。而在南昌的蒋介石认为，武汉是唐生智的势力范围，自己亲往武汉，不啻自投罗网，甘受唐生智的控制。而定都武汉又是国民党中央执行委员会在1926年底做出的决议，蒋介石不便公开反对。于是，他想出种种理由，加以拖延搪塞。这时正值春节，蒋介石便以过年为名，和到达南昌的国民党元老张静江、谭延闿、戴季陶等人上庐山过年，以避风头。
武汉方面，除了派邓演达和一班国民党元老前往南昌促驾外，采取了一切可能的政治措施，迫使蒋介石就范。
首先，宣称蒋介石不懂政治，要求在中山舰事件后被迫出国的汪精卫回国主持政局，而蒋则专门主持军事，希望利用汪精卫的政治声望压倒蒋介石。
其次，拉拢和蒋介石保有一定距离的人，打击蒋介石的支持者。谭延闿素有“文甘草”之称，在政治上一般谁都不得罪。此时，胡汉民、汪精卫分别因“廖仲恺案”和“中山舰事件”被迫流亡国外，国民政府主席一职正由谭延闿代理。张静江虽然腿有残疾，却一直觊觎虽无实权，但声名显赫的国府主席一职。谭张两人是老相识，张对国府主席一职虽然垂涎三尺，也不好出面反对谭继续代理，硬夺过来。谭延闿知道张静江的企图，但看到张没采取赶他下台的行动，乐得假装糊涂，睁一只眼闭一只眼。但谭延闿心里是明白的，蒋介石同张静江的关系非同一般，如果在张静江和谭延闿之间选择一个人让蒋介石支持，那肯定是张静江。如果出现这种情况，谭延闿的情况也就不妙了，他不仅不能把他的国民政府代主席的“代”字去掉，恐怕要满盘皆输，连“代”和“主席”三个字一起丢，这是谭延闿最不愿意看到的结果。而要保证自己的代主席地位，也就要找到和支持张静江的蒋介石一样有实力的支持者。这时，武汉方面向他伸出了友好之手，这使张静江兴奋不已。
一次，武汉方面借苏联顾问鲍罗廷之口，对谭延闿说；“汪（精卫）不会回来，国府主席一职，大家的意思，将来还得请你代下去。”
谭对此非常高兴，所以当武汉方面邀请他前往武汉时，他欣然前往。武汉方面之所以欢迎谭延闿前往，一者是因为他的声望，他在辛亥革命时就做过湖南都督；二者是谭为人处事随和，只要高官得做，并不管是什么主义；再者他手下除了一个鲁涤平而外，也不象汪精卫、胡汉民那样有一大批追随者，一旦自己掌了权，就得安插他们。谭延闿基本上是只要自己保住高官就行。
武汉方面和谭延闿的接近，使谭对共产党也有了好感，以致当他听到蒋介石挖空心思辱骂共产党时，颇不以为然，竟破天荒地替共产党辩解。他说：
“他们并没有什么作用，蒋先生看得太严重了。”
谭延闿要去武汉。他不仅自己去，也要陈果夫去。武汉方面的活动，不仅影响了谭延闿，国民党其他的一些元老们也对武汉产生了兴趣，李烈钧、柏文蔚、丁惟汾等都要前往。看到元老们纷纷要前往武汉的情形，受到谭延闿邀请的陈果夫也动了心，下定决心前往。毕竟陈果夫和蒋介石的关系特别，在要走之前，他前去看望蒋介石。
这时的蒋介石，真有点马上就要众叛亲离的样子，他阻止不了任何人前往武汉，也阻止不了在政治上只能算他的追随者的陈果夫。在这些人启程前一天的晚上，蒋介石请他们吃饭。在席上，蒋介石有点痛心疾首地说；
“鲍罗廷简直是我们的统监，而非顾问了。我们为中国独立而革命，今天遭到这种局面，怎能使人不痛心？”
陈果夫这次之所以未叛蒋介石而去，后来还得回去追随蒋介石，主要问题是武汉对他并不欢迎。陈果夫后来回忆了他们去武汉参加国民党二届三中会全时受冷落的情况。
这一行人到汉口，本以为会受到武汉方面的热情接待，但让他们气愤的是，欢迎人员只欢迎谭延闿，其他各人则完全不理。李烈钧随谭延闿上岸，谭延闿到后，武汉马上开预备会议，决定9日正式开全体会议。当时就把李烈钧、柏文蔚两人气走了。陈果夫和丁惟汾从此时起，就分开住了。过了一天，丁进入日本租界的医院，陈也秘密住旅馆。3月12日，陈参加总理纪念会，其他会议均不准备出席，只是看各方形势的发展。在大会的第五天，陈听说上一次会议决定取消广州广东江西三处党部的选举，已经圈定的被推翻。不得已抱病出席会议，说明原办法不应推翻的理由。并向共产党方面作了说明。因为陈此时对各方人事柑处还好，开会起立报告此案经过，大家无意见，只有顾孟余坚持异议，说是常会决议案，全会有权否决。顾在常会当中，本是竭力主张圈定办法的一个人，今天忽然变为激烈的反对者，陈果夫见到此种情况，认为说也无用，毅然退席，隔一天，有人告诉陈果夫说，彭泽民在大会报告组织部破坏海外党务的进行。陈听了这话很生气，便写了一封信给谭延闿，指控彭的种种贪污违法行为。次日，谭延闿拿陈的信在大会中宣读。彭想辩解，大家不许他辩。陈果夫用此办法就此把彭泽民打了下来。
全会闭幕后，共产常正式公开批评蒋介石和陈果夫。“打倒蒋介石”、“驱逐陈果失”的标语已在路上见到。三一八汉口大游行，也有“驱逐陈果夫”的口号。当时陈正在人丛中，只是没有人认识他。但从此陈果夫的行止更秘密了。几乎每天要换一个旅馆，避免人家注意。有一天蒋介石派人到汉口，命陈赶快离汉，并嘱他离去之前，与谭延闿接洽一次。这一天，正是北伐军克复上海之日。谭延闿很忙，到晚上一点钟才回去，和陈见面，他对陈说：“我的见解不及蒋先生，我初以为此间情形不严重，到此一看，才知道严重性远出我理想之外。现在我已不能和你一样的自由了，要想离去亦不可能。但将来必定回南京随蒋先生，并且今后一切必能听蒋先生的话，请告蒋先生，不久必定可在南京会面。”谭延闿在说此话时，还掉了几滴眼泪。当晚陈果夫向谭延闿告别，夜间二时下船。这时已经没有检查员在码头上了。
陈果夫到武汉，本是对蒋介石产生怀疑，想借参加国民党二届三中全会，向武汉方面靠近，可没想到武汉方面并不欢迎他。在陈果夫饱受冷落打击，在武汉进退两难之时。蒋介石派人命他回去，陈果夫也就只得就势下台阶，重新回到蒋介石身边。
蒋介石和苏联顾问很早就搞僵了关系，陈果夫比蒋介石会伪装，以致苏联顾问在打击蒋介石时，还企图拉他。
蒋介石对苏联顾问公开表示不满始于1926年3月20日“中山舰事件”。1926年3月20日中山舰舰长李之龙被捕时，蒋介石同时派兵包围了苏联顾问和汪精卫的住宅，并下令拘捕第一军中的共产党，取消第一军的党代表制度。蒋介石之所以如此行动，是因为他确信苏联顾问、汪精卫和共产党串通一气，要将他逐出广州。
蒋介石发动政变前共产党已发现了一些蒋的意图。1926年1月，周恩来和两广区委书记陈延年一起找鲍罗廷商量，打算将全部共产党员撤出蒋介石的第一军，联合其他非蒋系部队，与汪精卫联合成立国共合作的军队，以孤立和打击蒋介石。蒋介石对此当然不会不知道。所以他先下手为强，发动“中山舰事件”，既整肃了他的第一军，又将他的首要政敌汪精卫驱出广州。随后，为了获得苏联顾问和中国共产党的谅解，不立即导致国共分裂，他又主动让步，以“此事起于仓猝，其处置非常，事前未及报告，专擅之罪诚不敢辞”为由，“自请从严处分，以示惩戒而肃纪律”。蒋介石对苏联顾问不满的首要原因是苏联顾问支持中国共产党。
在北伐的问题上，苏联顾问和蒋介石也产生了尖锐的分歧。广东国民政府统一两广后，蒋介石认为北伐时机已经成熟，应立即北伐。而苏联顾问认为应首先在北伐所经省份发动群众，然后北伐军再出兵北伐，北伐才有必胜的把握。而在这时，中国共产党也是反对立即北伐的，1926年6月7日，陈独秀在《向导》上发表了们合国民政府之北伐》一文，认为：“革命的北伐时期尚未成熟。……。现在的实际问题，不是怎样北伐，乃是怎样防御，怎样的防御吴佩孚之南伐，防御反赤军势力之扰害广东，防御广东内部买办、土豪、官僚、右派响应反赤。”苏联顾问和中国共产党反对北伐的言论如出一辙，这更加深了蒋介石的疑虑。
在北伐进军作战计划上，苏联顾问也和蒋介石发生了分歧。苏联顾问认为，北伐军从广东、广西出发后，首先应攻取湖南湖北；占领武汉后，向西北进军；与冯玉祥部国民军会师后，以西北为基地，进攻东南沿海。为此目的，苏联首席军事顾问加仑（即后来指挥张鼓峰对日作战的布留赫尔）亲至冯玉祥部做联络指导工作。而蒋介石主张北伐军占领武汉后，沿江东下，先占领江南半壁，然后北伐。现在看来，苏联顾问的主张确实是站在苏联的立场上看问题的，苏联有用冯玉祥牵制蒋介石的意图。而蒋介石主张先占江南，再行北伐也是想巩固并扩大自己的势力。
正当苏联顾问和蒋介石的矛盾已经初露端倪时，1926年2月，鲍罗廷“回国述职”，不久，加仑前往冯玉祥部，在广州的季山嘉接任了苏联顾问团首席顾问的职位。
季山嘉既没有鲍罗廷那样灵活的政治手腕，也没有加仑那样高明的军事才能，是一位混蛋加笨蛋型的人物。他和蒋介石的第一次谈话，就因故弄玄虚和无端讽刺蒋介石，而把事情搞僵。季山嘉向蒋介石提出了两条让谁一看都可看出只有混蛋才能提出来的建议：一是建议蒋介石由海路运兵到北方去支援冯玉祥的国民军；二是劝蒋介石到北方去帮助冯玉祥训练国民军士兵。季山嘉的混蛋建议立即触怒了蒋介石，蒋介石斥之为“儿戏欺人之谈”和“根本打消北伐之毒计”。
季山嘉很快就把和蒋介石的关系搞得水火不相容，以致最后迫使蒋介石找上汪精卫“明告其如不准我辞职，就令季山嘉回俄。”季山嘉只得表示愿意辞职。季山嘉的愚蠢直接导致了“中山舰事件”蒋介石派兵包围苏联顾问住所，使他和苏联顾问的矛盾公开化。
当“中山舰事件”发生时，苏共中央执行委员会委员、苏联红军总政治部主任布勒诺夫率领的“苏俄观察团”正在广州检查苏联顾问团的工作。布勒诺夫也认为季山嘉是个混蛋，苏联顾问团举止失当，他因此指示顾问团在任何情况下都不应越轨，不应承担直接领导军队的责任，不得有过火行为，而应该“通过对国民党左派的工作，直接增强国民党本身”。可以说，布勒诺夫在处理“中山舰事件”上做了重大让步。
3月22日，布勒诺夫派人问蒋介石他发动“中山舰事件”是针对个别人还是针对苏联，蒋介石声称“对人不对俄”。并表示愿意同苏联继续合作，希望鲍罗廷速回广州。3月24日，布勒诺夫率观察团回国，被蒋介石驱逐的季山嘉也跟随同行。这样，蒋介石和苏联顾问团的紧张关系便由于布勒诺夫的退让和季山嘉的被驱逐而暂告缓和。
在对待中共问题上，苏联顾问和蒋介石的矛盾，无论如何是难以弥合的。在鲍罗廷1926年4月29日回到广州后不久，在“整理党务”问题上鲍罗廷便和蒋介石发生了冲突。由于1926年3月15日共产国际第六次执委会闭幕，该会把国民党接纳为同情党，把蒋介石列为共产国际主席团名誉委员和布勒诺夫对“中山舰事件”的处理，鲍罗廷对蒋介石“整理党务”采取了妥协的态度。企图暂取妥协态度，逐渐使国民党向“工农政党转变”。蒋介石也做了妥协，他向鲍罗廷保证继续实行孙中山的“联俄联共扶助农工”三大政策，声称；“俄国力量，直接间接帮助我们，故要革命成功，须联苏俄共同打倒帝国主义。”对于共产国际，他说：“应该和第三国际联络，而且还承认它是在指导的地位。”
对于鲍罗廷本人，蒋介石也极力加以吹捧。他说，“孙中山是国父，”“鲍罗廷是亚父。”中国的政治、军事都要听鲍罗廷的指挥。
1926年7月，加仑返回广州，重任军事总顾问，他建议立即开始北伐，先进攻湖南、湖北，再进攻江西，占领江南，然后再视形势发展，向北进攻。他的这一作战计划符合蒋介石的意图，加上大敌当前，所以在以后的一段时间里，蒋介石和苏联顾问未再发生激烈的冲突。但是，冲突的根源并没有去掉，暂时的平静是在酝酿更大的冲突。
1926年10月10日，北伐军占领武昌，吴佩孚被打垮。11月8日，占领南昌，孙传芳部主力被消灭。大敌一去，国共统一战线内的矛盾立即显露出来。苏联顾问和蒋介石的矛盾首先表现在迁都问题上。
1926年11月26日，国民党中央在广州召开政治会议，决定迁都武汉。随后，在广州的国民党中央委员和国民政府委员分两批北迁。12月2日，首批北迁的陈友仁、吴玉章、徐谦、宋庆龄、王法勤和苏联顾问鲍罗廷等人抵南昌。12月7日在庐山举行中央会议，在会上，蒋介石提议迁都南昌。他的建议未被接受，其他人继续前往武汉，并于12月13日组成“中国国民党中央执行委员会及国民政府委员会临时联席会议”。主要组成人员有宋庆龄、徐谦、陈友仁、孙科、宋子文、邓演达、吴玉章、唐生智、于树德、詹大悲、王法勤、张发奎、柏文蔚、蒋作宾等。
武汉政府政治上的灵魂人物是鲍罗廷，主要组成人员象邓演达、陈友仁、徐谦等都属国民党左派，掌握军权的唐生智、张发奎也非蒋介石所能控制，尤其张发奎部，在国民革命军各军中共产党员最多，张发奎在政治上当时支持汪精卫。蒋介石的支持者当时主要在江西，要他离开江西，前往新都武汉，这意味着脱离自己的势力所在，受别人的控制。所以从1926年12月初开始，他便以种种名义，要求迁都南昌。1926年12月底，从广州出发的第二批国民党中央委员和国府委员到达南昌，蒋介石将这批人留在了南昌，并召开了一个国民党中央政治会议第三次临时会议，决定“中央党部与国府暂驻南昌”。第二批到达南昌的国民党中央委员和国府委员在国民党大员中资格大多比较老，职位也比较高，如张静江是中央政治会议主席，谭延闿是国民政府代主席。
迁都之争马上引起了在武汉的国民党中央执行委员和蒋介石间的争吵。1927年1月1日，武汉方面宣布国民党中央及国民政府已迁都武昌，并于3日举行迁都和北伐胜利庆祝大会。同一天，蒋介石致电武昌，声称很据南昌国民党中央政治会议决定，以及北伐政治军事需要，国民政府暂设南昌。武汉方面复电表示反对。
为说服武汉方面同意迁都南昌，1927年1月9日，蒋介石亲赴武汉说服。因为蒋介石是攻占武汉后第一次来武昌，武汉各界举行了有三十万人参加的盛大的欢迎会，蒋介石在会上发表了演说。正当蒋介石演说正在兴头上的时候，有人当场站起责问蒋介石：
“既然蒋总司令这样革命，为什么还违抗国民党中央迁都武汉的决定？为什么无理扣留国民党中央委员？”
这样让蒋介石下不来台，蒋介石当然得理解为有人指使。何况苏联顾问鲍罗廷接着讲话。声称革命要依靠人民，发扬民主，反对个人独裁，要求提高党权，简直是不给蒋介石面子了。
蒋介石刚到武汉时，鲍罗廷当面对他说：
“蒋介石同志，我们三年以来，共事在患难之中，所做的事情，你应该晓得，如果有压迫农工，反对C．P．的这种事情，我们无论如何要想法子打倒他的。”
蒋介石回到南昌以后，虽然表面上承认武汉为迁都之地，拥护迁都武汉，但他和鲍罗廷的矛盾却急剧恶化。他又拿出对付季山嘉的手段，在回到南昌以后，于1月19日给武汉联席会议主席徐谦打电报，声称鲍罗廷当众侮辱了他，要求撤去鲍罗廷的总顾问职务。为了进一步为最后和苏联摊牌做准备，蒋介石开始攻击苏联，他在南昌总部第十三次总理纪念周上说：
“无论哪一国，如其放弃帝国主义政策，能以平等待我中国的时候，那么我们对他们，如同对苏俄一个样子。……若苏俄一旦不以平等待我，象别的帝国主义一样压迫我们的时候，我们也是象反对帝国主义一样的反对他们。”
1927年“四·一二反革命政变”后，宁粤尖锐对立。在和武汉的对骂中，蒋介石把鲍罗廷看为罪魁祸首。他说：
“现在汉口有一班叛党的党员，勾结共产党，情愿受鲍罗廷的支配，假冒我们国民党的招牌，来骗一般的民众，来破坏国民革命，想把我们国民党的党权政权统统落在他们的手里。”
1927年4月17日，南京国民党政府成立，由胡汉民出任主席。第二天，胡汉民下令通缉共产党和跨党分子，共197人，第一人赫然是苏联顾问鲍罗廷，第二人是中共总书记陈独秀。
鲍罗廷对蒋介石的反共反苏的真面目认识是比较早的，所以对他采取了孤立和斗争的政策。陈果夫由于经常不动声色，鲍罗廷对他的认识就比较少了，以至于一度还想将他拉人革命队伍，据陈果夫回忆说，1926年11月国民党中央委员及各省市海外党部代表联席会议闭幕后，“鲍罗廷第二天下午就约我到他那里去谈话。他问我是否英士先生之侄，他说俄国人对英土先生很尊敬，他个人尤其敬佩。接着要我说一点有关英士先生的革命历史。我很明白他想笼络我，才说了这些假话。但我不去管他，把英士先生的事略说了一遍。特别指出英士先生怎样的扶助弱小民族，怎样的爱护同志，怎样的化敌为友。因为鲍曾在政治会议上讥刺我国真正革命党人太少，藉此拿英士先生的伟大人格和事业作一答复。又说了些英士先生幼年的故事，他的牺牲和服务精神，自幼就能充分表现出来。也见得中国人美德之一斑。最后，鲍问我英士先生的事略有无出版品，我说有的，他问是谁所作，我说是邵元冲。他说邵元冲的东西可靠吗？我说可靠，书中材料大半是由我供给的。谈话之间，他的神气渐不自然。我自己也觉得有语病。第二天开会，我带了一本邵元冲编的《陈英士先生革命小史》送给鲍，鲍没有看，临走也没有带回去。隔了几天，共党开始攻击我，加我以‘新右派’的名义。而组织部也被认为是共党的敌体。再过几天，广州工人代表大会已贴出打倒陈果夫的标语。”
鲍罗廷要争取陈果夫，显然是不知道陈果夫的历史渊源。以陈果夫和蒋介石的关系，想争取陈果夫反蒋，是不大可能的。在上述陈果夫的回忆中，他对鲍罗廷说的“俄国人对英士先生很尊敬，他个人尤其敬佩”表示不信，认为鲍罗廷是在撒谎。其实他自己何尝不在撒谎，因为根本就不存在“英士先生怎样扶助弱小民族”之类的事。
蒋介石的班底不够厚，为此，陈果夫为蒋大力招揽各种人才。
在广州，最令蒋介石苦恼的事之一，是身边缺乏能干而又可靠的干部。1926年“中山舰事件”后，蒋把陈果夫召到广州，让他代自己主持中央组织部，掌握了党务系统。陈果夫排斥异己，安插亲信，很快就掌握了国民党中央组织部。同时，为蒋介石推荐了一批各种各样的干部。
陈果夫为蒋介石招揽人才，始于在上海为黄埔军校教导团招兵。当时军校缺乏军医、军官及无线电等专门人才，蒋介石专门去电上海，命陈果夫网罗。陈果夫对此下了很大的力气，但成就不算很大。
关于无线电人才，当时北京政府之下，颇有些与陈果夫相识的。有个姓朱的，陈果夫跑去找他六次，还是因为嫌路太远不肯去。还有几个姓邱的、姓华的、姓李的，陈都跑了若干次，没有允许。因此，无线电技术人才，陈果夫一个也没有找到。一直到1926年的秋天，国民政府在广州开办无线电训练班时，才找到三、四位。当时技术人才的稀贵缺乏，可想而知。军医经多方设法，陈果夫总算找到了四个介绍去广州。另外他又找到一个自称在沈阳兵工厂会造迫击炮的人，报告了蒋介石之后，就约了他到广东去。当时按陈果失的计划，预备在广州筹建一个兵工厂，在三个月之内完工。三个月之内，制造迫击炮一百尊。这个计划，后来居然给陈果夫他们做成了功。其间曾养甫贡献要算最大，那时由上海买的机器，运到关上，因恐英国关员留难，不能如期开工，就由曾养甫率领了几只兵舰，趁那商船进口的时候，在虎门把机器截了来。讲到陈果夫请的那位制造迫击炮的人，倒确实内行，可惜人格差些。他还找到一个自称会制造飞机的人，但到广州没几天给别的工厂请去了，不仅未给陈果夫干活，连他发给的川资也不缴还。陈果夫招揽最多的是军事人才，军官介绍成功的，共有二十余人。
1925年，陈立夫从美国留学毕业回国，陈果夫立即介绍其去广州见蒋介石，被蒋介石委为随身秘书。北伐开始后，陈立夫随北伐军总司令部行动，任机要科长。以后，其升迁速度简直令人咋舌，1929年国民党第三次全国代表大会上，陈立夫被选为中央执行委员会委员，并出任中央执行委员会秘书长。陈立夫是1901年出生的，比陈果夫小9岁，此时刚刚28岁。
1926年4月底陈果夫去广州投奔蒋介石时，同行的还有其三叔陈其采和在上海协助陈果夫召兵买马的曾养甫。到广州后，陈果夫即将此二人推荐给了蒋介石。受蒋介石委派，陈其采返回上海做筹饷及联络孙传芳的工作，曾养甫为技术人员，被留在广州创办中央兵工厂，制造迫击炮。以后，陈其采先后出任浙江财政厅长、江苏海关监督、江苏财政厅长和导淮委员会副委员长等。曾养甫则长期为CC干将，国民党组织部调查统计科即后来的中统局成立后，陈立夫是第一任科长，曾养甫为第二任科长，其在中统局中的地位非常显赫。
在陈果夫推荐给蒋介石的各种人才中，最早得到重用的是吴倚沧。吴倚沧是老同盟会会员，但后来退出了革命活动。陈果夫继任国民党中央组织部部长以后，由于组织部秘书路友于被派往北京工作，和吴倚沧关系甚为密切的曾养甫便极力向陈果夫推荐。陈果夫委托普养市邀请吴倚沧，吴于1926年9月到达广州。谈话以后，陈果夫对吴极为欣赏，认为是个难得的人才，便委为组织部秘书。1927年2月陈果夫辞去国民党中央组织部长后，继任者陈公博事实上指挥不了组织部，因为有吴倚沧在，他事事都秉承蒋介石和陈果夫的旨意。1927年“四·一二反革命事变”后，蒋介石为和在武汉的国民党中央对抗，在南京重建了国民党中央党部，并任吴倚沦为组织部代理部长。但不到一年，吴倚沧就因患霍乱致死。
当1926年11月广州国民党中央委员和国民政府委员沿陆路经南昌去武汉时，为避免陆上奔波，陈果夫首先秘密乘船到了上海。因此时国民军正在南昌附近和孙传芳部展开会战，加上陈又因肺结核劳累过度咳血，便留在了上海。一方面休息治病，另一方面帮助其弟陈立夫操办婚事。
在陈果夫未去广州之前，就和上海《商报》主笔陈布雷过从甚密。陈“论议周匝，文字雅俊”，在上海报界颇负盛名，加上具有一定的进步思想，所以在当时和陈果夫过从甚密。陈果夫对陈布雷也深信不疑，每当国民党有什么大的举动，陈果夫都要告诉陈布雷，陈布雷往往亲撰评论，从侧面为国民党做宣传鼓动工作。1926年11月陈果夫到上海后，邀请陈布雷去南昌见蒋介石。蒋对陈异常赏识，和陈果夫一起，亲自作陈布雷加入国民党的介绍人。此后不久，陈布雷便成为蒋介石的代笔人，后来更成为有蒋介石“文胆”之名的国民党首席御用文人。
除了网罗人才而外，陈果夫还利用国民党中央组织部长的地位自己培养人才。早在广州时，他便创建国民党中央组织部党政训练所。1926年11月北上后，为适应清党的需要，1927年5月20日，在戴季陶、丁惟汾的支持下，陈果夫决定创办国民党中央党务学校，推蒋介石兼任校长，陈果夫任总务主任，戴季陶任教务主任，丁惟汾任训育主任。但不久，蒋介石下野，陈果夫也跟随去上海。以后，这所学校改名为国民党中央政治学校。实际上成为陈果夫培养党务人才的专门学校。
由于陈果夫和蒋介石的关系，在陈果夫手下工作过的国民党中央组织部人贝提升是非常快的。往往是由普通科员一转而为某省党务督导员甚至省党部主任委员。这一类人除了上述的吴倚沧、曾养甫而外，早期的还有段锡朋、郑异、萧铮、张道藩、张厉生、余并塘，叶秀峰、吴铸人、童冠贤、洪陆东、洪兰友等。
在陈果夫给蒋介石建立的党务班底中，无论中央还是各省，核心都是曾在陈果夫手下工作过的国民党中央组织部的干部。在广州的党政训练所和国民党中央政治学校毕业的学生，爬上高位的微乎其微，可见这些学生的素质，除了摇旗呐喊，可作走卒驱使外，是不堪大任的。