3月下旬,蒋介石自九江到达安庆。26日,李宗仁随蒋由安庆赴沪。此时的上海,在中国共产党的领导下,工人运动搞得轰轰烈烈,革命形势很好。李宗仁对这种形势却感到担心,认为“工会气焰熏天”,是共产党要取代国民党的表现,特别是工会拥有武器,认为这是心腹大患,如不加抑止,国民党前途不堪设想,因此在龙华东路军前敌总指挥部与白崇禧会晤后,立即往见蒋介石,谈了自己的想法。蒋介石对共产党妒恨如仇,看到上海的革命形势似乎有些绝望,见李宗仁的想法正合己意,便问李宗仁:“你看怎么办?”李立即向蒋献谋:“我看只有快刀斩乱麻的方式清党,把越轨的左倾幼稚分子镇压下去。”蒋介石听了心头一阵喜悦,连忙问:“现在如何能谈清党呢?第一军军长何应钦辞职了,我无法掌握第一军了。”蒋介石诡计多端,他是想让李宗仁帮助他做这件事。而李却立即表示:”那么只有一步一步地来,我看先把第七军一部调到南京附近,监视沪宁路上不稳的部队,使其不敢妄功,然后大刀阔斧地把第一军第二师中不稳的军官全部调职,等第二师整顿就绪,调往沪杭线上,监视其他各师,如法炮制,必要时将薛岳、严重两师长撤换,以固军心。等军事部署就绪,共产党只是釜底游魂而已。”李宗仁的这番活,蒋听了有说不出的高兴。
正当李宗仁积极帮助蒋介石清党时,4月2日,汪精卫秘密抵沪,井与蒋进行了一系列会谈。蒋介石希望汪立即回武汉政府,与他共同实行分共。汪虽赞同蒋的意见,但他在名义上还是国民党左派领袖,不愿一回国就丢掉作为自己政治资本的旗帜;另外,蒋介石胡芦里卖的什么药,他一时也摸不准,因此采取观望态度。4月5日,汪精卫为了政治上的需要,与陈独秀发表了联合宣言,声称国共两党应该站在革命观点上,不听信任何谣言。不论这个宣言”对蒋介石的清党行动起不到实际的阻止作用,但却惹怒了李宗仁,他颇为恼火地向蒋介石建议,如汪不同意分共。将他软禁起来,不能放虎归山让他回武汉。蒋介石虽没有采取李宗仁的建议,知道汪精卫最终会起而反共,倒向他这边,但对李的态度很欣赏。
蒋介石在得到李宗仁的军事上支持外,又得到上海资产阶级上层人物经济上的支持,于4月12日,发动了政变。一个星期后,4月16日在南京建立了以他为首的国民政府。
南京政府成立后,1927年4月,蒋介石着手他的第二期北伐。此时,李宗仁虽挂衔第四集团军总司令,但由于西北的冯玉祥、山西的阎锡山都加入北伐队伍,使北伐力量大增,因此这阶段的北伐,他个人的作用,已远不如第一期北伐那样突出。然而,南京政权与武汉政府的对峙,却使他在政治上的作用显得比较突出了。
南京政府成立后不久,便处于非常不利的局面:孙传芳残部据守苏北,与南京政权对峙,伺机兴兵南犯,武汉政府反蒋由过去的唇枪舌战,开始变为兵刃相见。4月,武汉军分兵两路,东征讨蒋,一路以唐生智为主力,沿长江以北向南京进发,一路以张发奎为主,沿长江以南进发。李宗仁奉命率第七军溯江而上,过芜湖向江西进发,作西讨准备。正当双方剑拔弩张之时,刚败北的孙传芳部和直鲁军主力,开始向南京进攻。南京危急,李宗仁立即回师,并派参谋长王应榆往武汉游说,要武汉方面以北伐为重。武汉方面接受李宗仁的建议,表示先分道北伐,待会师北京后再和平解决宁、汉纠纷。于是一场即将爆发的宁汉之战,竟消弥于李宗仁的一番苦心之下。
一波刚平,一波又起。武汉方面虽暂时息事,但江西省主席朱培德却掀起反蒋热浪。他衔蒋甚深,积忿日久,在致何应钦的长信中,力数蒋的偏私、狭隘、市私恩、图独裁等罪状。李宗仁担心朱培德的反蒋情绪会引起武汉政府大员的连锁反应,后果难以设想,为蒋介石政权计,他决定亲自赴赣面晤朱培德,以他的面子求得朱对蒋的谅解。5月8日,李自芜湖专轮西上,翌日抵湖口。一见面,朱培德便诋责蒋介石,李遂乘话题劝说:“当务之急,不是辨是非,而是解决实际问题,如何避免宁汉双方的军事火拼。”并强调说:如果真的动干戈,两军相杀,“武汉方面有无制胜的把握呢?如双方俱伤,岂不为北方军阀造机会?”李宗仁的一番话,说得朱培德初衷动摇,消除了原先的打算。
事实上,宁汉暂缓冲突,并非全靠李宗仁的如簧之舌,更主要的是双方此时各为利益所迫。不久,蒋介石和汪精卫达成了“互相理解”的协议,5月21日,武汉汪精卫发动反共事变。武汉行动,南京立即表示支持,李宗仁也于8月18日通电,表示对武汉以前“容共”表示谅解,并称武汉分共后,“只有整个善后,并无两派争执,欢迎汉方重要人物赴宁柄权。”李宗仁通电不久,汪精卫立刻作出反应,也致电李宗仁,表示“对共产党防制过迟”,“至深内疚”。不难看出,此时的李宗仁是全力支持蒋介石的,作为一个强有力的军人,他的政治活动和态度,对稳定初建的蒋介石政权起到了其他人难以替代的重要作用。