对日受降、整编国军和遣散伪军，被大多数国民党人视为是他们失败的
最大原因 整编国民党军的最初动议来自于接替史迪威职务的魏德迈。1944年12月初，中美联席会议举行第一次会议，中国方面以陈诚为首席代表，魏德迈为美方代表。在这次会议上，魏德迈向蒋介石和陈诚建议军事委员会专门成立指挥中国野战军的总司令部，鉴于国民党军生活水平低下，营养不足，“他认为中国部队官兵需要良好的营养食物比需要枪炮更迫切”。为了提高士兵生活建议缩编部队，“他以实际数字指出，中国军队一个军常有3万个名额，却只有二千支步枪作战，人数太多，薪饷菲薄，给养低劣，部队长又吃空缺，以致士气低落”，因而他主张裁撤机构，裁撤冗员，把全国军队生活提高到和驻缅甸印度军队一样高的标准。陈诚于是开始作裁军计划。
陈诚认为提高士兵的现金待遇仍只是治标，没办法革除中饱、吃空缺的积弊，因此决定改现金补给制度为实物补给制度，并从宪兵开始实行。但实物补给制度手续麻烦，被很多高级将领所反对，未能得以开展。
按照陈诚的裁军计划，到1945年底，国民党原有的124个军、354个师、36个独立旅、28个独立团、15个独立营；要裁去31个军，111个师、28个独立旅、13个独立团，10个独立营。军事机关原有的4550个单位，裁并1779个。原有的92个军事学校，裁并70个。总计原有兵员590多万人，整编后留430余万人。
按说在抗B结束后裁减军队、节省财政开支是好事，但在中国马上就出了麻烦。士兵倒好办，回家务农，不裁有好多人还要开小差，裁下去，巴不得呢！问题首先便出在了军官身上。这些军官早已成为职业军人，除了会带兵打仗外，一无所长。对裁并下来的军官，陈诚也并不是一脚踢出军队去，任其自生自灭，他将这些人编入“军官总队”。可这些军官在军队中喝五吆六惯了，一下子没人侍候，怎么能过得惯，于是所谓的“军官总”便和“立监委”、“国大代表”、“青年从”、“新闻记（者）”成了国民党的“五毒”之一，整天吵吵闹闹，争斗不休。最后，这些人更和一帮失业军官，到南京中山陵去“哭陵”，指责军政部对他们残忍无道。
陈诚主持的军政部整编不公出现了更多的麻烦。国民党军队内部，本来就是中央军、西北军、东北军、晋军、川军、佳军、粤军派系林立，但经过抗日战争，除了桂军和晋军还能维持自己的系统外，其它的事实上已完全听命国民党中央。陈诚在中央军内部，还争权夺势奋斗不已，这次执掌整编大权，磨刀霍霍，大有拿本已中央化的杂牌军开刀之势。这使杂牌军出身的将领人人自危，走投无路之际，就去投共产党，高树勋的新编第八军和潘朔端的一八四师就是其中一例。
对于如何处理抗战时的伪军，蒋介石曾召集何应钦、白崇禧和陈诚等人开会讨论。在会上何、白主张收编，陈诚坚决反对。何、白认为：“我们既要伪军坚守阵地防拒共军，又要解散他们，这怎么行得通，势必激成变乱。”陈诚则认为：“如果把伪军编成正式部队，不仅妨害国军的整编，且混淆了国军的血液，千万不能办。”由于蒋介石支持何、白的意见，陈诚不便反对，收编伪军就成了定案。可由于陈诚主持军政部，在执行中就有了问题。陈诚下令军政部不给收编伪军军师番号，军给纵队名义，师给总队名义，而且在纵队、总队之前要加上“暂编”二字。同时陈诚又命把收编的纵队、总队军官人事档案与国民党军军官人事档案分放。
经陈诚手直接收编的伪军几乎没有，即使是抗战时各地的非共产党游击队，陈诚也主张解散。由于军政部长陈诚不许收编地方团队和伪军，一些伪军大头目都走戴笠路线，如吴化文、郝鹏举、张銮基、任援道都是通过戴笠报请蒋介石批准收编的，军政部只好照办。
陈诚并不是不知道他拒绝收编伪军和地方团队会把这些人逼着去投共产党。李宗仁曾劝告陈诚说：“辞修兄，你这种干法是替共产党凑本钱啊！”陈诚答道：“他们要到共产党那里去，我求之不得，正可一锅煮掉！”李又说：“我们战前剿共剿了那么多年，还没剿掉，现在怎能一锅煮掉呢？”陈诚说：“那时是因为我们空军无力量。”
陈诚不肯收编地方团队和伪军，处理的办法是解散。“解散的方式，也像日军缴械一般，由中央指定各部队集中地点，然后向前来接收的中央军接洽听候处置。而伪军和游击队的原有防地，却无军队接防，于是，共军又乘虚而入了。这些部队开到指定地点，而他们所奉命要接洽的中央军有些还远在滇缅一带。这些部队的长官久候无着落，又奉严令，不准就地筹借给养。因而，老实的将领便将部队解散归农，……，狡黠的便另打主意，投向中共效力了。”
至于对日军的受降方式，李宗仁给蒋介石的建议是：“敌人一旦宣布投降，我统帅部应立即命令各地日、伪军就地待命，维持当地治安和交通，以待我接收部队的到达。第二，关于我军向收复地的开拨，我主张用‘后浪推前浪’方式，以求快捷。……等胜利的爆竹一响，我大军便一浪继一浪向北方推进。如原驻河南、安徽和苏北的国军，即向山东、河北前进；原驻山西、宁夏、绥远的，则向察哈尔前进。各该军所遗防地，则由后方部队递补。”从国民党方面来看，李宗仁的建议确实是个好建议，但缺陷是，当时没条件实行。第一，日本军队刚结束“一号作战”不久，蒋介石在河南、湖南、广西的部队被打得七零八落，一部分还在缅北战场作战，尚未缓过神来，日本便突然投降了，蒋军没有准备。没做准备的原因主要是日军“一号作战”因素影响的。第二，当时驻河南、安徽、苏北的部队，无力向山东。河北进攻，因为在苏北、山东的陈毅部新四军、在河北南部的刘伯承晋冀鲁豫部队，都相当强大。邯郸战役蒋军被晋冀鲁豫军队战败，就是例证。第三，日本军队和伪军在得到日本投降的消息后，士气低落，已经难以“维持当地治安和交通”，在八路军、新四军的强大攻势下，不愿、也不能做全面的抵抗。由于日伪军军心涣散，蒋介石也只能将大后方的部队以空运和海运的方式，尽快运到沦陷区去，否则八路军、新四军占领并巩固的地区会更大。
蒋介石把毛泽东请到了重庆。随后，陈诚又参加了三人小组的谈判
史迪威在华的政策，基本上可以用以下几个要点来概括：①充分利用美援、极力提高中国军队的对日作战能力，这是他工作的核心；②同情中国，想将中国政治、军事引向正确的轨道；③在国际事务中，引导中国和美国站在一起。在上述三项目标下，史迪威对待中国的国内政治采取的策略是：④认为国民党腐败、无能、贪污、读职、贿赂公行，前景不看好；国民党问题的核心是蒋介石自私、狭隘，因而他反蒋以至最后试图推翻蒋；⑤认为共产党并不是真正的共产主义者，而是一群带浓厚民族主义色彩的土地改革者，生气勃勃，发展前途很大；⑤美国应扶植共产党力量，武装其军队，这一方面可以增强中国对日作战力量，也可打破蒋介石一党独裁局面，使蒋介石受到牵制、竞争，而不能为所欲为。史迪威有抛弃蒋介石的计划，但他虽然认为国民党政权腐败、贪污，也只想改造，没有彻底抛弃的想法。
到1944年10月史迪威被召回时，美军在太平洋已取得绝对优势，中国战场作用降低，加上美国认为中共必然倾向苏联，为了使战后中国仍站在美国一边，美国必须维持蒋介石的国民党政权。可美国仍认为国民党政权基础薄弱，前景不好，在抗战结束后可能爆发的内战中，要败给生机勃勃的共产党军队，、为避免这种情况出现，美国的政策是让国民党让出一部分政权，把共产党吸引入政府，组成联合政权。这样，共产党有了生存和执政的机会，内战就不会爆发，国民党就不会垮台，中国也就不会因共产党完全掌握政权、倒向苏联而对美国不利了。
1945年8月日本宣布投降，8月14日，蒋介石致电毛泽东，邀请毛泽东去重庆，声称：“大战方告终结，内战不容再有。深望足下体念国家之艰危，们怀人民之疾苦，共同戮力，从事建设。如何以建国之功，收抗战之果，有赖于先生惠然一行，共定大计，则受益拜会，岂仅个人而已哉。”22日，毛泽东复电派周恩来前去商讨一切。同日，斯大林也致电延安，催促毛泽东去重庆。23日，蒋介石又致电毛泽东：“承派恩来先生来渝洽商，至为欣慰。惟目前各种重要问题，均待先生面商，时机迫切，仍盼先生能与恩来先生惠然偕临，则重要问题，方得迅速解决。国家前途使利赖之。兹特备飞机迎迓，特再电驰速驾。”
蒋介石有和别人谈不拢，就将之扣留的习惯，李济深。胡汉民都曾受此优待。毛泽东受蒋迭电邀请，不去无以对国内舆论，去了确实也有蒋翻脸留人的危险。25日，延安方面又接美军参谋长魏德迈促驾来电，乃决定由毛泽东、周恩来、王若飞到重庆谈判。毛泽东离延安期间，由刘少奇代理中央主席。8月26日，中共中央发出通知，认为国民党在“内外压力下，可能在谈判中有条件地承认我党地位，我党亦有条件地承认国民党地位，造成两党合作（加上民主同盟）、和平发展的新阶段。中共还决定在谈判中，第一步让出广东、海南地区；第二步让出江南地区；第三步让出江北地区。但在其它地区，绝不让步”。
8月27日，美国驻华大使赫尔利和国民党代表张治中飞延安迎接毛泽东、周恩来等人。次日，毛泽东等飞抵重庆，当晚，蒋介石为毛泽东设宴欢迎，毛并住在蒋官邸林园。29日，蒋介石和毛泽东继续会谈。以后，二人又多次面谈。
当毛泽东、周恩来到重庆后，陈诚正忙着整编军队。8月28日，中共代表队到重庆的当天，他出席了蒋介石为毛泽东举行的欢迎晚宴。9月4日，美国大使赫尔利举行宴会，毛泽东和陈诚都应邀参加，陈诚并同毛泽东合影。重庆谈判期间，陈和毛泽东、周恩来多有往来。10月10日，《双十协定》签字。11日，陈诚代表蒋介石，到重庆九龙坡机场为毛泽东送行，并同毛泽东、张治中合影。
《双十协定》国共双方只是在一些问题上达成了一致，事实上，在谈判期间和谈判以后，双方都在积极准备在未来的战场上打垮对方，全力整军备战。可在表面上，重庆谈判国共双方都做了妥协，在一些美国人看来，只要控制住新的大规模军事冲突不爆发，联合政府很有可能成为现实。到了1945年11月下旬，美国国务卿詹姆斯·贝尔纳斯和迪安·艾奇逊便认为应该逼迫蒋介石与中共成立亲美的联合政府，如蒋不同意，就停止美援。贝尔纳斯和艾奇逊的上述想法也是建立在中共实力强大、蒋介石无力击败中共这一思想基础上的。同时他们也意识到苏联对中共影响不大，与其通过苏联压中共，不如和中共直接打交道更为便捷，这就改变了赫尔利和魏德迈过去一味亲蒋，企图通过援蒋压迫中共屈服的做法。
12月27日，国共双方在美国总统特使马歇尔主持下再次和谈，并成立了马歇尔、周恩来、张治中“三人小组”处理一切。可谈归谈，调解归调解，国共双方手下谁也未软。虽然在1946年1月10日签署了停战协议，规定两军至迟在1月13日夜12时停战，但双方战火一直未停，尤其在东北，国共双方更是大兵团作战。
1946年6月下旬，国民党军队对李先念中原解放区大举进攻，国共内战事实上已全面爆发，但马歇尔仍不死心，于7月1日，召集中共方面周恩来，国民党方面陈诚、王世杰、邵力子开会，会议毫无结果。8月18日，美国停止对国民党支援军火。
陈诚参加三人小组时国共大战已经打了4个月。陈诚工作到11月中旬，11月19日周恩来乘飞机回延安，马歇尔不久后也回了美国。三人小组的工作也就完结了。11月18日，周恩来离南京前夕交给了马歇尔一份名单，要求他对在重庆、南京、上海的一些共产党员提供空运上的方便，将他们送到延安或其他安全地点。
马歇尔调停失败后，受到国共双方的指责，国民党指责马歇尔使他们丢掉了东北，共产党指责马歇尔支持蒋介石打内战。而马歇尔对双方都有批评，对国民党的批评，要比对共产党多得多。尤其是以后美国在给蒋介石美援上，马歇尔总是尽量要少给些的。
蒋介石让陈诚架空了白崇禧，回过头来自己又架空了陈诚
陈诚有在江西第五次“围剿”中打败红军的业绩，抗战胜利后对解放区进攻的策划者当然首推陈诚，这从1944年11月蒋介石让陈诚任军政部长，负责军队的整编工作已见端倪。1946年5月，蒋介石接受美国军事顾问团团长巴大维的建议，取消原来的军事委员会及所属的军令部、军政部及何应钦的陆军总司令部，成立国防部。
按照美国的做法，国防部和参谋总长都归总统直接领导，国防部长地位比参谋总长高，参谋总长负责军队指挥与作战，权力很大。可国民政府实行的不是总统制，国防部属行政院领导，参谋总长的位置又只能排在国防部长下面，地位显然降得太低。重要的参谋总长位置和太低的地位对参谋总长行使职权不利，但又不能打破国民政府实行的五院制政体，这就使参谋总长和总统的关系问题成了难题。总统隔着行政院、国防部两层，指挥参谋总长，太不方便。于是军政部次长方天和步兵司长刘劲持便提出了一个建议，将国防部、参谋总长、战略顾问委员会、保密局等都列为总统直接指挥单位，参谋总长下设6厅8局4大总部，国防部通过参谋总长对6厅8局4大总部有间接指挥的权利。这样，就提高了参谋总长的地位。
方天和刘劲持之所以如此煞费苦心地设法提高参谋总长的地位，使其可以直接和国民政府主席打交道，关键是当时人事上的安排，已内定由白崇禧任国防部长，陈诚任参谋总长。美国人很看重白崇禧，而白又有才干、有号召力，不给个高位不行；可给了高位又有实权，就要给蒋介石制造麻烦，所以最好给他一个无足轻重的高帽，让他丢了可惜而戴着又无大的作用。方天和刘劲持的这个建议，正合蒋介石的心意，陈诚当然也很高兴。
1946年5月15日，国民党中常会、最高国防会议分别通过了白崇禧国防部长、陈诚总参谋长兼海军总司令的任命。5月31日，何应钦的陆军总司令部和陈诚的军政部结束业务。6月1日，陈诚与白崇禧分别以参谋总长和国防部长名义，到国防部视事。
国防部成立那天，陈诚集合六厅八局官员讲话，向大家说用人不分派别，择优录用，希望大家推荐，要网罗全国最优秀的军事人才，来建设现代化国防军。他又对白崇禧表示推崇，对记者发表讲话时说：“此次军事机构之调整，在树立一个百年制度。……国防部长有权，参谋总长有能。如无国防部之动员令及预算，参谋总长不能指挥一个兵，动用一文钱。”
在任命国防部的官员时，总的来说陈诚还能择优选用，用的人十八军出身的多一些，也无可厚非。按国防部的编制规定，有3个参谋次长襄助总长处理各方事务。国防部初成立时，3个次长是刘斐、林蔚和郭寄峤。刘斐主管作战，林蔚主管人事，郭寄峤主管装备补充。郭寄峤调任甘肃省主席后，陈诚以武汉警备总司令郭仟接替。参谋次长下设6个厅，分管全国的将官人事、国内外情报、作战、装备补充。编制、技术研究等。4总部陆军总司令顾祝同，海军总司令周至柔和联勤总司令黄镇球。这些人多数曾做过陈诚的部下，但在任命时，多由蒋介石亲自委派或批准任命。
按照国防部设立时的规定，国防部长的职权是决定军事国防政策，指示方针，也就是决策机关。至于具体执行有关实施方案、军队的指挥与作战，则完全由参谋总长负责，国防部长无权干涉。这样，参谋总长实际掌握大权，指挥一切，而国防部长成了闲职。对于这种职权划分，白崇禧大为不满，可他知道，蒋介石此举实为必然，心里明白，也就不说什么，只要抓住机会，就毫不客气地行使国防部长职权，给蒋介石、陈诚制造点麻烦。
陈诚出任参谋总长，操军令实权，但也未得到实际指挥作战的机会，先是忙于整编军队，安置被裁下的国民党官兵；接着参与国共谈判的马歇尔“三人小组”；最后参加1946年制宪国大，忙着主持会议、答复提问。1947年春，陈诚以参谋总长的身份，参与了从苏联红军手中接收旅顺和大连的工作。在这期间，陈诚还签呈了抗战期间在华日本战犯的判决案。
按说参谋总长的职权是指挥全国军队作战的，但陈诚当上参谋总长后主要是在忙政治。蒋介石不仅架空了白崇禧的国防部长职权，一个人说了算，成了决策机关；而且陈诚的参谋总长职权也没放过，让陈诚去替他打杂，由自己直接指挥全国的战事。各地的战况，陈诚也很难直接得到，都是“事后由侍从室第二组电话告知国防部副部长林前，再转告陈诚和白崇禧”。久而久之，陈诚对蒋介石的这种做法也有了意见，“感到他当参谋总长，只能管补给而不能管人事，也对蒋介石私下埋怨”。有一次，杜聿明去向陈诚请示，陈满腹牢骚地对杜说：“你向老头子请示好了，我这个总长只是补给司令，其他我管不着。”
蒋介石和陈诚都未将中共放在眼中，蒋声称“5个月内打垮共军”，陈宣布“3个月，至多5个月可以完全以军事解决问题”
抗战结束后，蒋介石和中共方面都确信自己是可以打垮对方的。在重庆谈判期间，蒋介石就曾对毛泽东表示，中共如果不接受他的条件，他将以战争解决问题。毛泽东毫不退让，立即反唇相讥，声称将以对付日本人的办法对付国民党军队。从这时的情况看，国共如果立即爆发战争，双方虽然都未准备充分，但对共产党方面，确实更为不利。一是八年抗战，中共军队进行的是分散游击战，部队立即进行大规模正规化编组、改变成大兵团作战，还需要时间，而蒋军不存在这种问题；二是美国更多地支持蒋介石，希望蒋介石政权能维持下去，苏联虽同情中共，但也希望中共能加入蒋介石政权。由于对中共不利，所以马歇尔调停，操纵建立国共联合政府，中共方面有较大的诚意。1945年的重庆谈判，中共方面作了较大的让步。蒋介石因害怕得罪美国失去美援而又抱着迫使中共加入他的政府的思想三心二意的参加谈判，事后，他保住了美援不会不来。可由于他蓄意破坏，使马歇尔的使命失败，马歇尔和美国政府大为不快，美援来得也就更不通畅了，本来想给蒋介石的一些美援都不给了，给一些，蒋介石也得苦苦哀求。美国的做法，是使蒋介石军队“既饿不死，也吃不饱”。马歇尔的调停，事实上对中共方面更为有利：组织起了大规模作战的兵团，削弱了蒋介石在美国人心目中的地位。
1946年的战局，主动权操在蒋介石手里。在东北、华北、华东和中原的几大战场，蒋介石都基本达到了战略企图。东北战场，在东北保安总司令杜聿明指挥下打通了北平到沈阳的铁路和南满铁路长春以南铁路线，占领了承德、赤峰、阜新、长春和吉林。在华北，李宗仁主持下的北平行辕和在绥远地区的傅作义部，占领张家口，打通了平绥铁路。在中原战场上，郑州绥靖公署主任孙震部占领了河南息县。光山、草店、杨家河地区。刘峙接任郑州绥署主任后，于6月26日起指挥整编部队向以宣化店为中心的李先念部发起进攻，李先念部被迫突围。此时晋冀鲁豫野战军刘伯承、邓小平部主力在山西、河北南部、山东西部和河南北部广大战场上作战，随时策应华东战场。蒋介石乃以第一战区胡宗南、第二战区阎锡山整编第一军与第八集团军，攻晋南，又调集大批正规军及伪军在冀南、鲁西、豫北、豫东一带，展开了捕捉刘邓部队主力的作战。华东地区，从1946年7月中旬起，在徐州绥靖公署主任薛岳指挥下，围攻在苏北的粟裕、谭震林部华中野战军，粟、谭在苏北七战七捷后，北撤山东。于是，薛岳又指挥部队，对聚集在山东的陈毅、粟裕部队分进合击，企图将之困于鲁南地区。到1947年1月，围攻部队两个军被歼灭。随后陈粟部队在莱芜一带歼灭了李仙洲部两个军。这时陈诚正在苏北新安镇坐镇。
当大规模内战初起时，由于解放军没有大兵团作战经验，蒋军攻势咄咄逼人，在东北、热河和平绥线上国民党军取得了一些胜利。尤其是在10月11日蒋军攻占张家口之后，蒋介石更觉得胜利在望，在10月19日召开的秘密军事会议上，声称要在“5个月内打垮共军”。陈诚对蒋的意见深有同感，在北平答记者问时，公开宣布：“3个月；至多5个月可以完全以军事解决问题。”由于胜利在望，蒋介石这时已开始考虑战争结束后的问题了，在蒋军占领张家口的同一天，蒋介石宣布将于11月召开“国民大会”，而且“国民大会”的召开不需要有中共和民主同盟的参加。
可大好的形势没有维持多久，到1947年初蒋军在战场上就显出了力不从心的迹象。先是在东北，林彪终于把从山东、晋察冀、延安去东北的干部和部队以及征兵入伍的农民和收编的伪满洲国部队40万人，整理成了一支得心应手的部队。虽然在训练、装备上还远不如国民党军，可人多势众、作风顽强，东北蒋军很快就陷入穷于应付、失去还手之力的局面，到1947年5—6月份，已经败象毕现。其次是华北的国民党军，在打通平绥线、占领张家口之后，即失去了进攻势头，局促于以北京、天津、保定为中心的地区，向西占有平绥线各要点，向东占有塘沽，向南占有平汉铁路的各要点。当时的北平行辕主任李宗仁，深以在北平坐镇为优，因为害怕将来作俘虏，甚至有解甲归田的打算。李宗仁当选“副总统”，离开北平后，华北军政大权由傅作义总揽，坐困北平的傅作义“终日深思苦虑，忧心忡忡，无法自解”。傅左右的人告诉李宗仁说，“总司令常常彻夜不眠，在阶前廊下徘徊不定”。以致傅作义一再向李宗仁问：“到那时，怎么办。”李宗仁对跳入牢笼的傅作义非常同情，便劝他“到那时”投降中共，说：“宜生兄，万一局势发展到那地步，那只有听凭你自择了。你要想到‘留得青山在，不怕没柴烧’！”在中原和华东，刘伯承与陈毅联手作战，陈毅颇有组织才能，在山东很快就组织起了一支强大的队伍，和蒋军以眼还眼、以牙还牙、拉开大战。刘伯承的晋冀鲁豫解放军，实力比陈毅部稍弱，但刘精于指挥，部队飘忽不定，每当陈毅部打得吃力时，肯定出现，而攻击所在，又肯定是蒋军最痛的部位。1947年初，蒋介石命陈诚坐镇徐州，集中23个整编师，企图在鲁南歼灭陈毅部。陈毅部先在临沂歼灭了郝鹏举的第四十二集团军，随后北上，歼灭了李仙洲部7个整师（整编旅），李仙洲被俘。蒋介石急忙飞到济南，亲自指挥，组织汤恩伯、欧震、王敬久3个兵团和王耀武、冯治安两个绥靖区共45万人，企图消灭陈毅部。1947年2月26日，蒋介石在南京军事会议上说：“我想在关内的共军，虽以陈毅一股为最顽强，但我们如果能够不顾一切，集中兵力，首先来对付这股共军，现在还来得及。如果我们再像过去一样，不听统帅的命令，各自为政，任其东奔西突，各个击破，则二、三个月以后，你们大家都要死无葬身之地。因为陈毅组织民众的技术、训练军队的能力和其作战的灵活，我们前方的高级将领中，可以说很少人能够和他相比。但过去唯一的欠缺就是没有重武器，所以我们的部队虽不长于野战，但凭借工事，还可以固守！现在他在向城和莱芜得了我们的重武器，如果我们不能在他将重武器部队训练完成以前，将他包围歼灭，那他的势力日益增加，我们无险可守，不仅山东非我有，就是已经收复的苏北，亦将重变共区。”4月26日，陈毅攻克泰安，蒋军整编七十二师被全歼。5月中旬歼灭张灵市整编七十四师。在此同时，徐向前部在山西、彭德怀部在陕北也都取得了辉煌的战果。1940年7月以后，晋察鲁豫野战军刘邓部队、陈赓部队和华东野战军展开外线作战，解放军已开始从劣势向优势转变。
从蒋介石宣布“5个月内打垮共军”到刘邓进军大别山，不过七、八个月的时间，蒋军何以失败如此之迅速？仅从战场上看，蒋军犯的最致命的错误，是固守城池、占领点线。在内战开始之初，蒋介石也曾宣布不以一城一地为得失，以“歼灭共军兵力”为目标，但在具体作战时，不知不觉中，即将这种战略变了形。首先，蒋军从一开始，军事行动即受了政治宣传的影响。蒋军攻占承德，宣传是大胜，占领张家口，宣传是大胜；占领延安，宣传也是大胜。但这些大胜，事实上都未伤及中共军队主力。这就在宣传上捆住了自己的手脚。蒋军也并非不知道宣传占领一城一地为大胜有点勉强，但为了鼓舞士气、激励军心和在国际宣传上造成一种有利于自己的声势，便不惜饮鸠止渴。宣传的结果，便是这些地方占领了，就要守下去，结果自然而然地就成了以一城一地为得失了。抗战爆发以后，陈诚在武汉曾委婉地批评过蒋介石因“政略”影响“战略”，当时是因蒋要照顾国际联盟开会，而改变了在上海预定的作战计划，导致上海抗战以后无秩序的溃退。此时实际上也是“政略”影响了“战略”，因为政治宣传上的需要而使预定的以歼灭有生力量为目标的作战方针变了形。
从战术上讲，中共部队并没有用对付日本人的办法（分散游击战）来对付蒋介石，而是重新用红军时代早已得心应手的运动战，而且规模比过去大得多，有时达十几万人甚至几十万人。中共缺少重兵器，所以在运动战中侧重于野战，以重兵在运动中包围蒋军一部，将其消灭。蒋介石在解放战争中实际上未找出对付中共大范围、大规模运动战的办法。因为作战范围大，蒋介石在江西用过的堡垒战术无法实行，而且由于中共已有炮兵，蒋军在江西的那种土碉堡也抵不住打击；因为中共部队多，蒋介石也没有从几面将中共部队包围的兵力，限制不了中共部队的机动性。
另外，蒋军的军事行动和其地方政权基本上是分离的，后勤补给也都基本上由军队本身来办，在作战中，军队是单独行动。而解放军和地方政权配合密切，地方游击队提供军事、情报上的支援，地方政权提供运输、后勤以及救护上的保障。所以在正规军队人数上，无疑蒋军要比解放军多得多，但若加上地方部队的后勤、运输、救护等方面的援助，中共方面的力量和蒋介石方面对比，差得也就不是那么悬殊了。而且由于中共在解放区的动员彻底，实行的土地政策又深得民心，政治稳定，尤其是解放军前线指挥员指挥得力，蒋军很快失去优势，而最后陷入失败。蒋军战略上失败的责任，最主要的承担者应是蒋介石和陈诚。
蒋介石将战场失利的责任委过他人，有职无权的陈诚想到东北去施展手脚
蒋介石让陈诚当参谋总长，是因为陈诚对自己忠诚，又有在江西打败红军的战绩，蒋想借助于他，将过去险些实现了的梦想实现了。然而时过境迁，陈诚以前的经验不再适用，损兵折将，劳而无功；蒋介石也并没有改变他过去的老习惯，军队还是由自己来指挥。陈诚今天飞徐州、明天去郑州、后天去北平，成了传达蒋介石意旨的大传令兵，实际上也没得到参谋总长的权力。由于战场上愈来愈不利，陈诚又不肯事事听命于蒋，蒋介石对他愈来愈不满意，觉得他不仅未拿出什么有力的办法，反而碍手碍脚，于是决心把他调出中枢了。而陈诚也有意出去施展一下手脚。
1947年10月，蒋介石在北平军事会议上作了《一年来剿匪军事之经过与高级将领应注意之事项》的报告，他将一年来的“剿共”分为两期，认为从1946年8月到1947年4月这段时间的军事是由参谋本部指导的，结果失败了；1947年4月到10月是由他本人亲自指挥的，取得了胜利。陈诚是参谋总长，这等于是宣布陈诚不称职了。
1947年5月，东北解放军发起夏季攻势，切断了长春沈阳间的交通，蒋军八十八师被歼。5月29日，又切断了沈阳至四平的交通。第二天蒋介石亲至沈阳指挥军事，派郑洞国率军解了四平之围。但整个夏季攻势，蒋军共8万多人被歼。东北国民党军只能固守在长春、吉林、四平、沈阳。锦州的孤立的狭长地带。东北保安司令长官杜聿明因病辞去职务，其职务由郑洞国代理。
郑洞国代理司令长官，只是一时权宜之计，所以从杜聿明生病起，蒋介石就开始物色新的人选。蒋介石最初的人选是李宗仁，李宗仁正得美国人垂青，既有指挥能力，又有统驭能力，加上李宗仁时任北平行辕主任，若再兼职东北行辕主任，统一指挥华北、东北军事，对不怎么好过的国民党华北东北战场，肯定大有稗益。东北行辕主任熊式辉在东北已经弄得天怨人怒，东北人士交口攻击，已经没法再在东北干下去，蒋介石就几次命陈诚到北平，劝李宗仁出马兼任东北行辕主任。李宗仁正为“坐团北平”着急，忙着找理由脱身，数度要辞北平行辕主任，再让他去收拾东北烂摊子，还有可能做俘虏，李宗仁当然不干。蒋不能勉强他去，只好打消此意。于是，东北这个烂摊子便落在了陈诚身上。
蒋介石指责陈诚说1946年8月到1947年4月参谋本部指导战争失败，是有点委屈陈诚的。陈诚虽然在某种程度上应对国民党军在山东的几次大失败负责，但在总体设计上并没错。他要刘峙围攻李先念的中原解放区，李先念部被迫撤离，解除了对武汉的威胁。进攻苏北粟裕，蒋军虽7战7败，但终于迫使票部离开了苏北，解除了对南京、上海的威胁。这些战役，虽然损兵折将，但从整个战略上讲，还是达到了预定目的的。
由于李宗仁坚决不肯兼任东北行辕主任，蒋介石又拿他没办法，只得派陈诚。而陈诚此时也愿意离开南京。
由于东北战场蒋军局势急剧恶化，在1947年6、7月份，陈诚就多次去东北视察，此时各方面已经有陈诚要出任东北行辕主任的传闻。可熊式辉不愿离职，他就企图联合杜聿明，阻止陈诚到任。他曾对杜说：“陈诚这个家伙现在窘极无聊，出坏主意。据可靠消息说，陈诚在关内指挥作战都失败了，想来东北出出风头，挽回他的面子，现在正想打我的主意。我走了你也难顶他，我们两人要想法子对付这个小鬼。”杜聿明对熊式辉的话深以为然，便在东北整顿贪污，没收了东北中正大学教务长余协中私人接收的造纸厂，取消了沈阳代理警备司令彭壁生的职务，以消除陈诚借以攻击的借口。在东北，本是熊式辉主党政，杜聿明主军事，杜聿明病倒去上海治病后，熊式辉无法代理军务，失去了杜聿明的支持，下台已是势在必行。所以在7月份陈诚去东北大肆活动期间，熊连给蒋介石7封辞职信，蒋一再复信抚慰，表示决不更动东北人事，劝他以国事为重，继续主政东北。熊式辉接了这些信，得意了没有几天，忽然蒋介石下令派陈诚出任东北行辕主任，并全权负责东北军事。熊式辉为此对蒋非常不满。
1947年8月28日，蒋介石命林府代理参谋总长。29日，任命陈诚为东北行辕主任。9月2日，陈诚在东北行辕大礼堂正式就职。