1945年8月25日上午。延安东关机常一架美国军用飞机，轰然腾空，开始了一次非同寻常的航行。美军飞机在中国从未一次载运过这么多中国共产党的重要人物：舱内挤挤挨挨坐着的，是陈毅以及刘伯承、邓小平、薄一波、陈赓、林彪、肖劲光、滕代远等20名中共的高级干部。
在不足一个月的时间里，远东和世界局势发生了重大转折，鉴于苏联于8月8日对日宣战，毛泽东主席亦于8月9日在延安发出《对日寇的最后一战》的战斗号令。所有中国解放区的军民都行动起来，“猛烈地扩大解放区，缩小沦陷区”，向一切不愿投降的侵略者及其走狗实行广泛的进攻。8月12日，中共中央对华中的斗争作了新的部署。为具体落实中央的这一部署，陈毅又为中央军委起草了对中共中央华中局和新四军五师地区的如下指示：在江南方面，立即有计划分路发动进攻，占领吴兴、长兴、宜兴、溧阳、溧水、郎溪、广德、金坛、句容、高淳诸城镇，太湖西岸各地及浙西敌区各县；对京沪沿线苏州、无锡、武进、镇江、丹阳等城，可相机占领，不可能时即不要去，能占领时亦不宜作久住之计，而主要的是去占领各该县的农村市镇。
在江北方面，应将津浦路以东、长江以北、陇海以南、运河两岸这一整块地区打成一片，占领所有城市，解放所有地区，打定长期巩固根据地的基矗军部在运河沿线，选择适当指挥位置。
中共中央为加强军事工作的领导，中央政治局于8月23日的扩大会议决定，组成以毛泽东为首的新的中共中央革命军事委员会，陈毅为12委员之一。
对于陈毅的工作，中共中央也作过审慎的研究。因为当时迅速从日伪手中收复东北是全党的一项突出重要的任务，主持东北军事工作有两个人选：一是陈毅，一是林彪，中央考虑华中更需要陈毅，便由毛泽东主席和他谈话。
陈毅考虑到同饶漱石的关系问题，坦诚地说：回华中去恐怕没有事做，不起作用。毛泽东说，怎么不起作用，只要你坐在那里就起作用。于是陈毅答应下来了，并请中央放心。当他飞往太行的第二天，中共中央便发了个电报给华中局：“陈毅同志昨日飞抵太行，转赴华中。陈态度很好，一切问题均谈通。
分工：饶为书记及政委，陈为军长及副书记，其余不变。”
飞机把他们送到晋东南黎城县长凝机场后，便飞返延安了。陈毅要从太行赴华中，还有数百里跋涉，恰好一起从延安飞来的冀鲁豫军区司令员杨得志也要回军区，便由他组织护送。9月下旬，到达濮阳。
9月19日，中共中央根据国民党军行动而提出的总战略方针——“向北发展，向南防御”，决定从山东调兵数万，迅速开赴东北，新四军江南主力北撤，一部进入山东。9月26日，陈毅收到中共中央9月23日的来电，要他不要去华中，“取捷径直到山东”接替山东军区司令员兼政委罗荣桓的工作，以便罗率部去东北。
陈毅穿一身粗布军装，由冀鲁豫军区安排，一程接一程地护送前行。当他们时而骑牲口，时而步行，风尘仆仆地长途跋涉时，他们的对手——国民党军将领们也正穿着美式呢料军服，乘着美式吉普，还有美国飞机、军舰，同他夺路抢行。据报，国民党先头部队9个师已开进徐州，后续10个军的兵力也正在或准备向津浦线南段开进，双方都在争分夺秒地前进。
10月3日，陈毅一行终于东渡微山湖，抵达微山湖东岸的夏镇（现微山县所在地）。来迎接他的人正是1943年送他西渡微山湖的鲁南军区独立支队副政委杨广立，这个支队已经编为第八师二十四团了，两人相见，倍感亲切。
陈毅说，他带有党中央、毛主席的重要指示，要迅速赶到山东分局，要设法立即送他过铁路。陈毅向干部们传达了“七大”精神，当即起程。陈毅一行在临城和沙沟之间过了津浦铁路。陈毅发现这条贯穿南北的钢铁大动脉还完整通畅，而10几万国民党军和日伪军正从徐州方面沿着它节节逼向北线，阻遏他们已到了刻不容缓的时候。陈毅向杨广立交代，立即组织部队、民兵破路，一天都不能等，埋地雷，翻车厢，扒铁轨、挖枕木、割电线、砍电杆，发动沿线群众一起干，谁搞的就归谁扛回家，破坏桥梁、路基成功的，还可张榜由公家定价奖赏。
过了铁路，第二天上午就赶到峄县（今峄城）。在第八师师部传达了中央指示和“七大”精神后，当晚便乘吉普车赶到山东军区所在地临沂，和在那里迎候的罗荣桓亲切会合。
罗荣桓移交工作以后，就要迅速带部队到东北去了。罗荣桓走后，陈毅将面对一个什么样的局面呢？
首先，山东主力部队将以绝大多数开赴东北，包括八路军山东军区第一、二、三、七师全部，第五、六师的主力，18个警备团和基干团，部份军政干部共约6万人，只留下第四、第八两个师。与此同时新四军三师约3万余人，也由黄克诚师长率领北调出关。陈毅所能指挥使用的山东野战部队，实际只有5万，加上警备旅和区县武装，以及华中方向新四军9个旅，整个华东总兵力也才40万人。兵力不强这是第一难。
第二难，是华东局面复杂，敌情严重。蒋介石还都南京，苏鲁解放区将成为直接威胁国民党南京政权的“大患”，成为蒋介石调兵北运的“大障”，必先除之而后快。而陈毅所辖部队，力量相当分散，有刚从华中调来山东的，有刚从地方武装上升为主力部队的，有在某一地区活动发展多年不愿远离“老家”的??也有干部过去对陈毅并不熟悉而个性很强，不那么“听招呼”的??要在这种情况下将各个方面的力量归统起来，形成一个强大的、集中协调的，可以实施机动作战的野战大兵团，来对付装备、兵力占绝对优势的敌人，决不是轻而易举的事。
与罗荣桓司令的工作交接，在一片紧张和匆忙的气氛中进行。陈毅为此在临沂停留了10多天。这期间，津浦路线上的敌情日益紧迫。可以说从延安到临沂，从最高统帅部直到鲁中南各级指挥员，此刻都意识到全局最关重要的目标，正是在津浦铁路线上。
津浦路的蒋军行动很快：9月30日，徐州的国民党第十二军、骑二军及伪军吴化文部开始北进，10月1日抵临城（今薛城），3日在山东第八师及警备八旅尚未赶到的情况下进占了滕县。6日到达充州。9日，与山东第4师先头一部遭遇后，蒋军主力取道铁路以西继续北进，11日，其先头部队利用山东军区部队主力尚未调转、破路不够彻底之机，已进抵济南，后续部队正准备源源跟上。照此下去，只要20天，国民党大批主力就能顺利通过津浦线到达平津地区。据此，军委指示陈、罗、黎（山东军区副政治委员黎玉）等人：“目前山东与华中的中心任务（除出兵东北外）就是截断津浦路，阻止顽军北上，并力求消灭北上顽军之一部或大部。”
为有力实施这一作战意图，决定成立津浦前线指挥所，由陈毅亲往前线实施统一指挥。10月15日，也即由延安抵达山东的第12天，陈毅偕黎玉等人率前线指挥所进驻邹县香城，组织抗战胜利以来第一个集中大兵团作战的战役。
陈毅在香城召开了团以上干部会议，传达中共“七大”精神，并作反内战的动员。他以简明通俗的语句表达了自卫作战的理由和决心：“此山是我开，此树是我栽，谁敢来摘果，把枪缴下来！”
当时兵力的部署安排是这样的：自北向南，以渤海军区武装控制并破袭济南以北铁路，使到达济南的国民党2个军不能继续北进；以山东第三、第四师及鲁中警备三旅进攻泰安、兖州之间日伪军；以山东八师及鲁南警备八旅进攻邹县至临城间日伪军；以鲁南警备九旅进迫徐州、临城、枣庄以钳制敌人。总之，在济南至徐州沿线，共集中了20个团的主力。指挥所根据当面敌人情况，决定采取轮番使用兵力的战法，使部队在长途行军后的连续作战中，仍能保持有力的突击力量。
10月18日，山东军区第八师主力首先发起战斗，以奔袭手段从邹县东、西门连续爆破成功，全歼守城伪军2500余和日军200余人。接着又迫使邹县南侧日军300人投降，控制了邹县以南80余里铁路，山东第三、第四师则攻克大汶口，控制了南北铁路20余里。至此，国民党徐济间交通再度被切断。
10月下旬，国民党徐州绥署以第十九集团军率第九十七军及骑八师进至临城，另以第五路军吴化文部在日军掩护下自膝县向北，以伪山东特务旅自兖州向南，企图南北对进，首先打通兖州、膝县间交通。
此时的陈毅，手中兵力未集齐，而山东主力第三、第四两师又很快要渡海北上，他分析当面敌情：敌主力也尚未到达，而吴化文第五路军脱离工事完全处于运动之中，攻歼较有把握。因此，指挥部决心以山东主力第八师，加上新四军刚入鲁的部队第九旅、第五旅，以伏击手段歼灭吴化文部。
11月3日午后1时，当吴化文部以日军打头阵，运动至伏击圈内时，各路伏兵按预定计划分路出击，仅经两小时激战，即将敌大部歼灭，吴化文单人匹马逃走。此役俘敌军、师长以下4000余人，控制铁路100余里。
捷报声中，阔别一年多的张茜从淮阴、临沂来到香城。陈毅去看望新四军二纵司令员罗炳辉时，和张茜并马前往，一路欢声。11日，中共中央给陈毅发来电报说：“庆祝你们歼灭吴化文胜利！准备战胜必然要来的大举进攻，集中部队向铁路南北扩展。”当日，警备八旅又歼灭从两下店北犯的日伪军。
当夜，山东八师主力奉陈毅命令沿津浦路西侧南下，进迫临城，其二十三团向临城以西的柏山守敌发起了进攻。一营三连班长陈金合在临城援敌眼看逼近，敌堡未攻克，守敌将无法全歼的紧急情况下，毅然摘下帽子摔给连长作为诀别，冲到敌碉堡前拉响了一枚特大型快速手雷，瞬间火光冲天，敌堡摧毁。陈金合却已粉身碎骨，以自己宝贵的生命换取了战斗的最后胜利。
陈毅听到消息，深为感动，给以极高的评价说：“陈金合是实际战争的领导者，是彻头彻尾的共产主义英雄！”一个学习陈金合的热潮很快形成。
为进一步扩大对津浦线的占领，指挥部又决定以原有主力加上刚由淮南北进的新四军四旅、十九旅，分别先后攻克了临城外围的沙沟、官庄等据点，使敌人缩踞在临城固守。临城工事坚固，且有炮兵、航空兵支援。陈毅据此情况决定包围临城突然撤兵，以第八师攻滕县，以第九旅攻小窑、陶庄。
八师的滕县攻坚战打得十分出色。先打外围，全歼蒋军新二师，俘师长以下2000余人，缴获山炮2门。滕县城内守军共约9000人。战斗于18日黄昏发起，刚成立12天的山炮连首战以17发炮弹便命中15发，有效压制了敌火力。突击部队连续爆破，冲入城内。经两夜一日激战，仅以400人伤亡，歼灭了数量上与己相等，而火力优于已方的敌军，共俘旅长以下7600人，击毙师长以下1000余人，缴6门山炮及其它弹药物资甚多，获得全胜。然而在战斗中，亲临阵前观察敌情地形的八师师长兼政治委员王麓水，却不幸中弹牺牲。其后，陈毅和黎玉到八师视察，沉痛地参加了在城西举行的追悼会。
与此同时，第9旅也胜利攻克了小窑、陶庄两地。
津浦前线作战胜利，使陈毅所部控制了津浦路共260里长和临枣路40里长的铁路线，歼灭了大量蒋、日、伪军，使国民党迅速打通津浦路的企图终告失败，同时，也改善了山东部队的作战阵地及装备，掩护了主力的调配集中。在这一时期，华中野战军也完成了北调、集中和整编任务，并攻克了盐城、高邮等地，改善了作战条件，也锻炼提高了部队。总结回顾这一时期作战经验，陈毅深深感到“解决从游击战转到运动战的许多实际问题，强调兵种协同、步炮、攻守协同十分重要。”据此，他抽调部队进行临时整训，指示团以上干部学习毛泽东所著《中国革命战争的战略问题》，同时要新四军部队认真组织学习八路军部队的爆破攻坚技术。这些都显示了陈毅在从分散游击战转向大兵团运动战的初期，对部队的适应与转换能力的提高，已给予极大的重视。这是自红军诞生以来，人民解放军的一个历史性大转变。而在取得初步胜利的同时，也暴露了许多问题和弱点，如何克服它们，将是今后一时期陈毅面临的重要问题之一。
1946年1月7日，中共中央军委决定成立山东野战军（简称山野），并以新四军军部兼山东军区，陈毅任山东军区和山东野战军司令员，张云逸为军区副司令员、黎玉为军区副政委兼野战军政委。同时明令规定，以粟裕为司令员，谭震林为政委的华中野战军，在战略行动上归陈毅指挥。
从当时全国战场看，国民党军在津浦线受阻、被歼的同时，又在上党、邯郸两战役中丧师6.5万人，这更加暴露出其战争准备尚未就绪的弱点，加之国内“反内战，要民主”的呼声高涨，国际舆论也有压力，因此蒋介石请出了美国人，出面“调停”国共争端，解救自己的不利处境。至此，国民党方面不得不在关内暂停军事上的冒险进攻，和中国共产党签订了停战协定。
双方共同宣布，于1946年1月13日实施全面停战。
然而，谁能相信这就是永久的和平呢？陈毅司令员告诫部属：和平谈判是高级领导人的事，你们部队的责任就是准备打仗。
1月28日，一架飞机飞至临沂上空，投下北平军事调处执行部的一道军令，要求仍交火的国、共双方停止冲突脱离接触。陈毅研究后亲拟回电，表示遵照执行，但“我地区被我包围之敌伪城市仍应由我受降，此乃我敌后抗战八年应得权利”。2月2日，济南执行小组美方雷克上校又飞来临沂，与陈毅会晤两天。陈毅首先揭露国民党进攻事实，而后又作某些克制让步；据事实讲道理纵横天下申明自己的立场主张，又不失幽默风趣；终与雷克达成几项口头协定。在回去的飞机上，雷克对同行人说：“象陈毅将军这样有才能的中国军事将领，我还是第一次见到。”这以后，雷克上校以及徐州执行小组美方代表哈里斯上校及驻青岛美军司令克莱门将军等，数次去临沂拜访陈毅。克莱门在谈话中劝共产党妥协以占政府一席位置，因为顾祝同在徐州就有30万军队，共产党无力对抗。陈毅回答：他只要用5万兵力就能进占我这个临沂，但10个师进来容易，如果要出去1个师也难出去。”美国西点军校出身的克莱门将军瞠目以对，陈毅侃侃而谈，从军事辩证法，美国独立战争直谈到解放区的煎饼大葱，充分利用此机会分析形势，阐明真相。给克莱门印象极深。通过各种接触，陈毅在美军军官及许多民主人士中，争取了大量同情者。
3月1日春寒料峭，陈毅接中央指示，登上一架专门来临沂接他的飞机，到达济南，在这里迎接了从北平来济南视察的“军事三人小组”张治中、周恩来、马歇尔。军调济南执行小组向三代表汇报山东各地国、共冲突的调处情况后，周恩来有凭有据地讲了国方将伪军加委使之摇身变为国军的问题，还揭露国方急于恢复交通实质是利用其运兵向解放区进攻的真相，态度严肃而又克制，发言有理有节。而陈毅在济南则与王耀武、何思源等国民党军政官员作了些个别接触。他与王耀武来去常常同乘一辆卧车，言谈之中，王耀武向陈毅称赞说，你们共产党有三大长处——善学习研究学问；与人民关系好；能作战。他并且表示国内战乱已多年，自己作为军人，也是愿和平不愿打的。陈毅听后心里自然明白，王耀武的话里有些真情，有些苦衷，但也有故作姿态之处。
当日下午，陈毅又随张、周、马歇尔3人飞抵徐州。在这里，主要是谈判苏北淮阴地区国共两方粟裕部与顾祝同部摩擦的问题。第二天上午与马歇尔的会谈，周恩来特介绍陈毅代表自己出面。面对这位声势煊赫的美国五星上将，陈毅身着新四军自制的棉布军装，神态从容自信，不卑不亢。他列举事实，申述理由，正式提出，有必要向新四军所在的苏中地区增派一个新的小组去实地考察，以制止当地国民党军队的挑衅进攻等问题。又坦率指出：此次在徐州举行的宴会中，共方代表人员的席位被有意压低了，陈毅对此种轻慢无礼的态度表示遗憾。
马歇尔听罢，同意考虑向苏中增派三人小组的事，又召进美方一位上校，询问昨日宴会的座席安排问题。上校答，是徐州国民党方面安排的。马歇尔倒也坦率，立即为此事向陈毅表示了歉意。顾祝同开始时是对共方代表极倨傲的，经陈毅这番堂堂正正的交涉，美国人又说了话，他态度上便也有些改变。
后来与陈毅谈话中，还表示赞同陈毅所说的“和平巨流不可阻挡”的观点。
在谈判斗争中，陈毅既善于做对方个人的争取工作，又总是清醒地正视对方的总的政策，既交了朋友，又坚持原则。
在这一停战阶段中，陈毅明确地认识到，是和是战，最终不是取决于共产党，而是取决于国民党。因此，陈毅一方面参与和指导华东地区停战谈判斗争，另一方面又始终抓紧着部队整编、练兵，解放区实行“耕者有其田”的土改运动等项工作。对于“和平民主新阶段”的到来，部队上上下下有许多混乱思想，对战争在短期内再度爆发的可能性普遍估计不足，所以从2月份起布置和开展了“百日军政大练兵运动”。5月1日，又在“百日练兵”的基础上，颁发了以军事训练为主的第二期练兵指示，进一步提高战术、技术水平。以后，国民党的战争企图逐步暴露，对解放区蚕食活动日益加紧。
陈毅及华东党政军领导人，乃进一步加强战备动员，批判和平麻痹及各种享乐腐化思想和个人主义打算，加强和扩组野战部队，并要求地方加紧进行土地改革工作，军队要积极拥护与支持土改。这样，使情况有所改观。
与此同时，国民党逐步调齐了兵马。首先是将其远离前线的部分主力秘密运送到解放区边缘的战略要地来。就华东地区来说，1月份停战令生效时，国民党全部兵力是17个正规军47个师，但到6月份，又秘密增调7个军19个师，在华东解放区及其周围布下的兵力达23个军66个师，约52万人之众。
其南线军队进行了整编：以从100万日军手中接收的以及美国援助的武器加强了装备；进一步加强和改编伪军，组织大批“还乡团”；其间向山东、苏皖解放区的蚕食进攻已达977次，侵占解放区城镇村庄400余座。总之，进攻部署已接近完成，大战有一触即发之势。
面对这种情势，共产党军队显然不能作无止境忍让而不反击。但向何处反击能在政治军事上取得有理有利地位？陈毅颇费思量。在中央军委具体筹划下，他组织山野部队，抓住国民党向华中四分区（淮南津浦路西地区）开始动手的时机，在山东选定人心痛恨的伪军为作战对象，发起了讨逆战役。
6月7日晚，山野各主力兵团奉令同时分别向德州、泰安、大汶口、枣庄、周村及胶济路东段的高密、胶县、即墨等据点的伪军发起了突击。到16日，预定攻击的据点除大汶口外，全部夺龋被派到德州指挥伪军的国民党中将司令王继祥以及各据点3万余伪军被俘获，同时毙伤伪军3500余人。这些“钉子”一拔，就拆除了国民党进攻山东解放区的跳板，同时也策应了中原、苏皖解放区的斗争。由于打的是伪军，“师出有名”，国民党无话可说，政治上首先赢了一着。继而战役取得全胜后，又“适可而止”。立即收兵转入整训，使紧张局势及时得到缓和。这是一个将军事与政治斗争紧密结合运用得极为成功的范例。
6月26日，蒋介石在完成了各项战争准备之后，彻底撕下和平面具，下令包围中原5万解放军半年之久的25个师“吃掉”该部。以此为标志，延续5个多月的停战局面终告结束，全国大规模内战就此展开。蒋介石自恃有优势兵力和装备，有美国经援和军援，扬言要在3个月至半年内消灭共产党。
蒋介石对华东的如意算盘，是实行由南向北的逐步压缩，先将解放军华中主力赶过陇海路北，再会同胶济线南下的国民党军将其聚歼于鲁中地区，以解除其宁沪杭中心地带的“心腹之患”。
战云滚滚，大军压境。中央军委6月22日来电指示作战方针：“山东区以徐州为主要作战方向，主要着重调动徐州之敌于野战之中歼灭之。”这一计划核心是着重向南，首先给予向华中解放区进攻的敌人以有力打击。然后华中、山东主力分由淮河南、北进击津浦线，配合晋冀鲁豫野战军造成对徐州合围形势，以调动敌方在运动中予以歼灭。这样，就可以甩开向北的蒋军而插到国民党区域取得人力物力，取得战局上的主动。陈毅次日即复龟中央，完全同意这一南下作战方针，并对山东野战军作了部署。
但苏中方向的粟裕、谭震林向中央和陈毅力陈在苏中内线歼敌的有利条件和兵出淮南的不利条件，不主张一开始便将苏中主力调去淮南、淮北。就指挥关系而言，粟、谭所率的华中野战军在战略行动上归陈毅指挥，但它归华中分局领导属华中军区建制。因此在指挥关系的协调上，陈毅也颇费思量。
6月27日，陈毅一面向中央作了报告，一面向粟、谭发电，望能从华中野战军抽16个团兵力投入淮南作战，但接到粟裕回电，“建议只抽8至11个团去淮南参战，主力仍留苏中作战。”并列举数条理由表明主力暂缓西调先在苏中打几仗的必要性。为了深入研究问题，陈毅于第二天（28日）亲自到陇海线上的新安镇附近，与华中局领导人张鼎丞、邓子恢会面商讨。经反复商询斟酌，中共中央终于复示允许华中野战军暂缓西调。7月4日，中央军委根据政治局势及敌情变化进一步明确指示：“胶济、徐州、豫北、豫东、苏北之顽可能同时向我进攻，果如此，我先在内线打几个胜仗再转到外线，在政治上更为有利。”
7月初，新四军副军长罗炳辉在出征前因脑溢血突然去世。而大敌当前，只能将悲痛化为力量，陈毅将罗副军长的追悼会变成了一次激励士气的誓师会。他在致词中说：“革命的自卫战争必定胜利！我们每个人要抱定决心：打了胜仗开庆功会，打了败仗开批判会，打死了开追悼会！”这三句表达了必胜决心的壮语，很快在部队指战员中流传。
7月中旬，蒋军向淮北、淮南、苏中、鲁南解放区发起了大规模进攻，其中以淮北为主要方向。5个整编师12个旅的兵力，自徐州以南分3路向东推进。陈毅决心以少数兵力牵制敌中路和右路兵团，而以主力歼灭位置最突出的左路兵团（整编第二十八、五十七师各两个旅）。然而，正当山野部队向其左路兵团接近时，其中路整编第六十九师之第六十旅、九十二旅进到了朝阳集、渔沟地区与左路兵团取齐，继而六十旅向左路靠拢而九十二旅显得突出孤立了。他令二纵、九纵、二十旅共计13个团的兵力，攻歼朝阳集、渔沟地区的敌九十二旅，并在运动中攻歼向南增援的六十旅。
朝阳集战斗从7月27日凌晨开始，前后经历两昼夜，歼灭了蒋军九十二旅全部，六十旅一部，共5000余人，至此蒋军东进的中路兵团基本被击退了。
这一仗在指挥部署上依据了中央军委“集中优势兵力，各个歼灭敌人”的作战原则，因而以较小的伤亡代价，取得了山东野战军在解放战争开始后的第一个歼灭战的胜利，使华中全军受到很大鼓舞。陈毅同样受到很大鼓舞，因而作七律诗一首以示庆祝。当此捷报于7月30日传到山东临沂刘家庄时，张茜又生了一个男孩，可谓“双喜临门”。以后为孩子命名“小鲁”。
与此同时，华中主力在苏中地区也面临着4倍于己之敌的进攻。7月13日至15日，粟裕以先发制人手段集中15个团兵力，首先攻击了宣家堡、泰兴，歼敌3000余人，打响了头一炮。继而在如皋东南歼敌万余。以后连续作战，七战七捷。然而在淮南方向，敌自中旬起以精锐兵团“五大主力”中的两个：第五军、整编七十四师，以及第七军一部，分路向津浦路东地区进攻；路东各部实施反突击，未能得手而一再后退，到月底撤离该区，整个淮南解放区失陷。
回顾从和平转入战争的第一个月作战，陈毅所部虽有苏中及朝阳集的胜利，但也显露出某些不能适应全面内战与新阶段大兵团正规作战的弱点与问题，陈毅没有理由对未来战局作过于乐观的估计。
大雨倾盆，连日不停，部队冒雨涉水，步履艰难。
陈毅于7月25日率山野指挥部南越陇海路到达淮北。一副异常的景象摆在面前，正如他在给华东局和中共中央的报告中所说：“到处一片汪洋，每夜部队只能走20里至30里，榴弹遭水湿即不能用，部队特别疲劳，病员增多，敌驻扎之村落即沟深水满，不好突击。”在这么困难的条件下怎么办呢？
陈毅表示：“现华中全境，苏中敌气已颓，淮南、淮北敌气正旺，我决心在淮北打一、二次好仗”，以“改变局势”。但到月底，敌情发生变化，沿陇海线两侧继续进攻的蒋军主力已增加到15个团，而陈毅手头的21个团的兵力对他们“只能击溃不能歼灭”，便打算“以主力向灵（壁）、泗（县）找桂顽求战，拟先消灭其两个团即转而进击津浦路宿蚌段。”
野战军司令部参谋处有许多意见认为在水大、部队疲困条件下攻城，打桂系均不妥。而参谋长则坚决主张歼泗县桂系两个团。在此激烈争议而需要司令员拍板的时候，陈毅不顾“沟深水满，不好突击”的情况，误信军分区领导干部所说“泗城外壕水深不过膝”的虚言，没有采纳参谋处大多数人的意见，而支持了参谋长的意见。接着华中分局的邓子恢、张鼎丞也来电建议应打蒋军不打桂系，陈毅与参谋长也回绝了，表明自己在事前已经作过慎重考虑，其理由是：“蒋军计8个整旅紧靠在一起，离徐州不到40里，彼此间隔不到10里、20里不等，增援多而快，只能击溃不能歼灭。此次（在朝阳集）打九十二旅，我9个团打两天两夜始结束战斗，故无法下决心去打北线蒋军，但蒋军再向东进，则有打的机会。现桂系4个团，分布在灵壁、泗县、五河3处，其增援均在七八十里以外，打定可能全歼，历来打桂系均用相等兵力，故奏效不大，此次改变是能奏效的。已定5日夜攻泗城不再变。”于是报告中央军委：“当前之敌一为桂系，一为蒋五军，一为薛岳部九十九旅、六十旅，均系硬货。”“我决心消灭桂系在泗县之两个团，并调动其援队，逐次消灭其二三个团。”
8月3日，军委复示：“凡只能击溃不能歼灭之仗不要打。只要主力在手总有机会歼敌，过于急躁之意见并不恰当。”军委复示的基本精神似在于慎重而反对急躁。对于泗县的攻击，陈毅并未改变决心。从当时志在必得的情况来看，对于攻击失利的可能是缺乏思想准备的。
守泗县的敌军为桂系第七军的一七二师，兵员老，当兵时间平均在7年以上；善守，是他们的特点。这次山野主力19个团南下攻它，以多胜少，应当是有把握的，然而当时正值暴雨季节，本来河多沟深的泗县地区一片泽国。
部队在齐胸的积水中艰难行进，炮车无法跟上，弹药大多受潮失效，部队相当疲劳，并且由于部署变更仓促，既未能组织各方面攻击部队之间的协同动作，致使担任主攻的八师负担过重，又未能进行周详的战术侦察，因此担任攻城突击任务的八师感觉把握不大。然而陈毅考虑战机不可失，要赶在敌七军部署调整未完与五军未到淮北之前干掉一七二师主力。
8月7日午夜时分，八师以5个营兵力发起攻城，连续爆破勇猛冲击，不到10分钟即突破大北门和西北门攻入城内。但继而守军组织顽强反扑，攻击部队准备不足，未能及时发展打通两突破口联系，又无有力预备队和炮火支援。天亮后，守军以猛烈炮火卡断城内外联系，先对突入西北门的两营疯狂连续冲击，八师部队无工事依托，伤亡甚重，阵地失去，伤亡和溺水者甚多。敌又集中炮火、飞机、步兵打击攻入大北门的两个营，该两营反复拼杀顽强守祝是夜八师投入预备队3个营接替，仍因力量不足难以发展，形成对峙局面。同时九纵在城东的攻击未奏效，二纵因河水阻隔既不能攻西门又无法增援大北门。陈毅于深夜2时接到八师报告，甚焦虑，派参谋长赶去师里处置，同时发电询问具体战况。
9日，五河敌人来援，被第七师击退，而更多敌人正准备向淮北运动。
城内八师战士与敌拼杀竟日，血流遍地，河水为之染红，但战斗仍在僵持消耗状态。8月9日夜，指挥部下令八师停止攻击，全部主力撤至睢宁以西地区休整待机。
曾被称为“陈军长袖子里的小老虎”的八师，从未打过这样的“窝囊仗”！
虽歼灭敌人3000余，但八师亦付出2000余人伤亡代价，而说到底城未攻下，使山野西击津浦线的计划受挫，八师士气受挫。悲愤、消沉、牢骚埋怨的话很多。战士说：“上级老说要集中兵力，临到打起来却要敌人两个打我们一个！”此话确实有理。此次参战总兵力共22个团，但用于攻城的部队仅6个团，而这6个团在攻城时还分去将近一半力量打外围据点，因此战役上的优势变为战术上的劣势。这是一个值得作战指挥者深刻记取的教训。然而，这种消极埋怨的情绪如果蔓延发展下去，将对下一步作战产生更加不利的影响。陈毅得知后于10月4日给八师领导写了一封信中说：“3月来未打好，不是部队不好，不是师旅团不行，不是野战军参谋处不行，主要是我这个统帅犯两个错误??我应以统帅身份担负一切，向指战员承认这个错误。”他坦诚自责，肯定八师“始终是很好的头等兵团，纪律为各军之冠”，同时也作自我分析说：“在艰难困苦的日子里，我从来不抱怨部属，不抱怨同事，不推拒责任，因而不丧失信心??，我从来不向敌人低头，但对自己同志我常常自我批评很愿意低头；胜利时如此，不利时也如此，即失败时亦如此。”
信中同时也分析了有利的局势，指出胜利的前途。八师领导读到这样的一封信，受到极大感动与鼓舞。他们动员上上下下，认真总结了泗县失利的教训。
在城市攻坚的组织指挥、战术技术、协同配合方面得到很大的提高。后来由第八师扩建的华东野战军第三纵队，成为第一等的城市攻坚部队，在洛阳、开封都取得了辉煌的成绩。
通过总结，陈毅与指挥部人员也得到提高。在陈毅主持的总结检讨会上，各纵队（师）的领导干部及参谋人员提出许多宝贵的意见。如参谋主任王德反映：津浦前线作战，每次战前都开会充分研究，布置好协同配合；此次作战事前未召集各纵（师）首长开会，未进行具体组织准备，造成总的部署有兵用不上，主攻部队兵力分散无预备队。陈毅对大家中肯的意见坦诚同意。
陈毅这种勇于承担责任的精神，对大家起了表率的作用，对司令部参谋人员激励尤大。
泗县战斗后蒋军乘势推进淮北，又于9月上旬，开始准备向淮阴、临沂两个方向进攻，造成了陈毅一方进一步的被动。
淮北失利的同时，华中的粟、谭主力却在一个半月中七战七捷，歼灭了国民党6个整旅共5万多人，严重挫折了敌人锐气，振奋了解放区民心士气，并成为中共中央得出“蒋军必败”判断的实践根据之一。他看来，战争初期各地主力在熟悉地区的内线先寻机歼灭分路进攻的敌人是正确的，过早集中成大兵团未必妥当。但当敌军逐渐深入，战斗规模逐渐增大时，陈毅又深感两支野战军在几个战略方向上分别应敌，难于集中力量统一指挥以致不能聚歼大敌的焦虑苦恼。9月初，中央考虑到敌人在控制陇海线之后，山东与华中的联系将被切断，拟派徐向前来山东负责鲁南前线指挥之责，而陈毅负责淮海前线并统筹鲁南、苏中、胶济各前线。作为一名战区指挥员，他当然明白中央这一考虑的全部含义，故在第二天起连电表示欢迎徐向前来鲁主持。
但是等了20多天，徐向前没有来。而陈毅对战局的焦虑有增无减。当时，蒋介石限令15天之内攻下苏北各重镇将新四军赶出华中，将重兵隐蔽指向华中解放区首府淮阴。陈毅急调华中野战军第九纵队、第五旅、第十三旅北上，在淮阴以西的运河南岸阻敌，不料敌主力突然南移直扑淮阴，以桂系7军纠缠山野主力，同时以其主力突破华野九纵防御而逼近淮阴城郊。南线华野主力奉命放弃攻海安，驰援淮阴一时难以赶到。国民党重兵自9月10日起以飞机炮火配合向淮阴发起猛烈攻击，遭到顽强抵抗，激战至17日，敌出动数十架次飞机狂轰滥炸，地面冲击5次均被击退，但战况愈见危急。陈毅当日给粟裕电报中甚至有“五内如焚，力图挽救”之词，可见其焦灼之甚。然而至19日拂晓，蒋军头等主力七十四师乘淮阴守军正在调整部署的空隙，以1营兵力轻装从五旅、九纵接合部偷袭入淮阴南门，撕开缺口，敌内外夹击涌入城内，淮阴失守。22日，淮安也被敌占。
此役，新四军在极为被动的情况下撤出华中战略要点淮阴，使作战回旋余地更小，交通、财政上困难增重，群众也加深了动摇心理，使整个华中的局势愈趋严重。然而，华中野战军的主力终于北调，实现了陈毅久存未果的愿望，使华中、山东两大主力合并，形成强大作战力量。正如陈毅于淮阴危急之际发给粟、谭、张、邓的电报中所说：“今后力求会师改变局面。”
纵观战争爆发初期7、8、9三个月作战情况，面对以优势兵力大举进攻的敌军，华东全军虽退出了某些城镇、地区，打了一些得不偿失的消耗仗，但同时也取得了歼敌8万的巨大胜利。更重要的是部队在作战中得到极大锻炼，改善了装备，逐步实现了野战兵团的集中统一，逐步完成艰难的战略转变，准备更大规模的歼敌作战。9月23日，中央军委更明确指示：“山野、华野两军集中行动，两个指挥部亦应合一。提议陈毅为司令员兼政委，粟裕为副司令员、谭震林为副政委”。
在此之后的10、11两个月中，华东战区敌我双方都在为即将到来的更大规模的作战准备条件。蒋军采劝避实就虚”方针，在各方向轮番进攻，乘隙攻占了涟水等城市。解放军多次向敌出击或实施反突击，共歼敌2万余人。
特别是10月中进行的第一次涟水保卫战，歼蒋军七十四师等部8000人以上，有效地掩护了华中后方向山东转移，使华野部队及时穿上棉衣、补足了弹药，为下一步集中主要力量歼灭敌人作了准备。这阶段，两大野战军会合，虽分布在盐城至临沂南北300余公里战线上，指挥部需兼顾各方而不能作更高度的集中，但陈毅与华野粟、谭之间仍保持了密切协同、互相尊重的亲密关系，正如中央电报所说：“在陈领导下，大政方针共同决定，战役指挥交粟负责。”
从10月底至11月初，陈毅在涟水西北的陈师庵等地先后召开了多次干部会议，针对当前的战局和两支野战军统一作战指挥的意义作了透彻的讲解，总结了3个月来的作战经验，号召全军干部战士进一步学习中央军委和毛泽东主席所制定的关于集中优势兵力，各个歼灭敌人等作战原则，树立高度集中统一的思想，团结一致，积极完成作战和建军任务。这些会议，对于提高华东全军干部，特别是高级干部认清当时的形势，领会中央军委制订的战略方针，正确理解保存地方与歼灭敌人有生力量的相互关系，以及增进军内外的团结等，都起到了极为重要的作用。
11月15日，南京城吹吹打打，演出一幕“国民代表大会”开场的闹剧。
这表明国民党蒋介石已完全背叛了人民民主而实行独裁专制，彻底撕毁了“政协决议”和1月13日的停战令，长达一年之久的和平谈判破裂了，失败了。
于是，毛泽东于11月21日在延安枣园邀集刘少奇和刚从南京返回延安才两天的周恩来会商，一同对比分析了此时与抗战初期国民党和共产党力量的变化，认为一年的谈判教育了全国广大人民，使他们看清了国民党蒋介石是发动内战的罪魁祸首，从而使共产党赢得了人心。结合着战场上的胜利：“蒋军必败”的论断，于是定下决心：争取3至5年打倒蒋介石（暂不对外公布）。
这就赋予解放战争以阶级决战的伟大意义。中共中央随即在当天举行的会议上作了传达。毛泽东提出的宏伟纲领是1年内线，2年外线，3到5年打到南方去。但是，要打倒蒋介石，必须首先取决于军事上的胜利，取决于打大歼灭战，整旅整师地消灭国民党正规军中的中央嫡系。陈毅日夜筹划大歼灭战。
他判断，国民党开伪“国大”，必有军事行动相配合。事情果然如此。此时蒋军在华东的兵力已增至25个整编师（军）68个旅，国民党统帅部便在“国大”开幕4天之后，拟定了一个重兵4路大规模进攻苏北、鲁南的作战计划：以第一绥区司令官李默庵指挥整编第六十五师、八十三师、二十五师等5个旅兵力由东台向盐城、阜宁方向进攻；以徐州绥署副主任李延年指挥整编第七十四师、二十八师共5个旅兵力由淮阴攻涟水；以徐州绥署副主任吴奇伟指挥整编第十一师、六十九师共6个半旅兵力由宿迁进攻沭阳和新安镇；以第三绥区司令官兼整编第三十三军军长冯治安和整编第二十六师师长马励武指挥整编第五十九、七十七、二十六、五十一师及第一快速纵队共9个旅兵力由台儿庄、枣庄地区进攻临沂、郯城。他们判断，山野、华野主力分置南、北两翼而中间空虚，因此特别加强了由宿迁出动的这一路，作为重点。4路进攻统于12月中旬发起。
陈毅在12月6日就得到情报，初步判明了敌进攻意图之后，拟了4种作战对策的电报，向中共中央请示，并提出自己意见以歼击进攻沭阳的这一路为最好。第二天他又电告粟、谭：并要粟裕北来会面，共同商议作战部署。
其时，粟裕已在盐城以南之伍佑指挥华中主力追击向南溃逃之敌八十三师的战斗中获胜，遂遵命北来。12日，陈毅便同粟裕、谭震林、张鼎丞、邓子恢等华中领导人周密研究了敌军动态。他们进一步判断：4路中，宿迁一路最强而我防御最弱，故这一路可能较它路大胆突进，造成我主力南北对进歼灭它的机会。由宿迁进攻新安镇的整编第六十九师又分左、右两纵队，陈、粟决心首先集中主要兵力割裂、围歼敌左路纵队的预三旅、四十一旅，尔后乘胜歼敌右路纵队六十旅。以一部袭扰、阻击由宿迁进攻沭阳的整编第十一师。全战役预定7至10天结束。
这是一盘妙棋。其基本精神，是在于以解放军主力打击敌较薄弱的翼侧，逼敌回缩，乘敌混乱之际割裂其左路予以歼灭，然后再调头打它的右路，这就保证自身在兵力优势不大（1.9比1）的情况下，能以较多兵力在连续战斗中各个击破。这是解放战争中陈、粟第一次共同指挥大型战役，一个能压阵作主，一个善运筹布兵，两人配合默契、相得益彰。而山东、华中两野战军指战员也久已憋足了劲要打个好仗，情绪高涨“嗷嗷叫”。
12月15日，中央军委来电，认为陈、粟“决心部署甚好”。陈、粟即令一纵、八师、七师及九纵一部，分别对晓店子至嶂山镇一线发起猛烈进攻。
当夜9时，八师开始向敌人线形布势的腰部制高点——峰山发起了勇猛冲击。守敌凭借山顶工事顽强抵抗，八师攻击经夜，3次突击均告失利。眼看天将拂晓，在这关键时刻，二十三团营教导员张明下了最后决心，亲自组织带领突击队第4次冲击，终于占领了有关全局的战场制高点峰山，使敌阵脚大乱。与此同时，一纵自八师右侧向井儿头敌十一师攻击，其先头第三旅两个团曾一度攻到十一师师部驻地曹家集以西，歼灭一个工兵营和骑兵营大部，并打到曹家集土围，距其师部仅二三百米的地方，使其师部一时混乱不堪，无法增援六十九师。16日天亮后，敌发现其左纵队处境不利，乃拼死攻夺峰山，激战一天。下午5时陈毅接到战报，“敌猛攻竟日不逞，并被歼一部。”当晚，乃令一纵主力分两路勇猛东插，将宿沭公路上的十一师、晓店子地区的预三旅、罗庄地区的六十旅割断为3截。十一师拼力向预三旅靠拢援救，后者也想冲出包围，但被击退。17日晚，八师对晓店子守敌发起了猛烈冲击，发挥攻坚特长，迅速突入并激战至深夜12时，终于将预三旅全数歼灭。同时，一纵、七师也各歼六十旅一部，敌旅长率2000人第二天从李圩突围，也终未逃脱覆没命运，为七师、一纵全歼。
一直守在指挥所电话机旁边的陈毅、粟裕，开始将注意力转向踞守人和圩的敌六十九师师部，18日拂晓九纵及九旅一部发起第一次总攻，未能奏效。陈、粟命令：应不顾任何牺牲在今夜12时前将该敌解决。10时半再次发起总攻，迅速突入，整编六十九师中将师长戴之奇率残部踞守东北角顽抗，至凌晨4时，终被消灭。19日上午，敌四十一旅旅部及一个团从苗庄突围，又遭歼灭。至此，持续了4昼夜的宿北战役胜利结束，敌六十九师三个半旅及工兵第五团等部2.1万余人为解放军全部歼灭。
宿北奏捷，中央军委于18日和20日两次电贺，“庆祝宿沭前线歼敌2万以上的大胜利，于大局有利，甚好甚慰，望对一切有功将士传令嘉奖。”
陈毅较系统地将宿北战役及以后的主要工作向中央作出报告。
陈毅写道：“宿北战斗，戴之奇三青团中委自杀，临死呼口号‘国民党万岁’，黄保德六十旅旅长亦自杀，魏人鉴、黄继陶突围时被击毙，师参谋长下落不明，副师长饶少伟、副参谋长秉伊均俘。??六十九师全部东进计2.1万余。”此次俘虏“计在1.6万以上，战场遗尸1000余具，故突围不多，敌方消息收容甚少，家属纷纷到徐州哭诉。”接着，陈毅陈述了此战的经验和今后的打算。他写道：“由于要尽量保持华中盐阜地区，我未能贯彻集中大兵力的主张，数月来用于钳制的兵力太大，今后当可多用兵去突击（由于华中城镇沦陷，包袱放下）。”
其时已是1947年元旦。惯于漏夜工作的毛泽东主席收到陈毅的电报，立即阅看，边看边圈点，电报中说：“山东部队常不安心南下作战，华中部队亦不肯入鲁作战，数月来的矛盾由于战局演变现已解决，今后可集中从鲁南向南打，部队编制、番号均须统一。一面作战，一面正商讨整编办法。苏中七战七捷以及最近的胜仗，缴获多而大，但由于本位主义打埋伏，抛散浪费太多，今后确定以战养战的思想，如何严格处理分配胜利品，始能持久。现部队使用炮兵，使用俘虏，防空防炮均有进步，打二十六师则未克服反坦克的困难，故又提出以战教战，打一仗进一步的思想。”毛泽东看到这些电文，兴奋异常，在给陈毅回电时说：“以战养战，打一仗进一步口号甚好。你们应以宿东战役为例，力争打大歼灭战，即每战全部彻底歼敌三至四个旅??”毛泽东还关切地写道：“打马励武是否准备完毕？”“我们希望此次作战能获宿东同样战果。”
毛泽东所说的宿东战役或者宿沭战役，以后统称为“宿北战役”。而所说的打马励武，即鲁南战役的第一阶段，就在毛泽东电报发出的当晚，对马励武整编第二十六师的作战便开始了。
这一次作战是出敌意料的。因为国民党徐州绥署主任薛岳指挥25个半旅和1个快速纵队分4路向苏北和鲁南解放区进攻时，是从北、西、南三面形成半包围状态。宿北战役实施中间突破，是歼击了半包围圈上西北一路敌人，但这有力一击，并未能迫使敌人改变整个进攻意图，敌人只要稍作调整，仍然可以恢复原来的半包围态势。而在各路敌人中，鲁南一路是4个整编师、8个旅和1个快速纵队。他威胁着山东解放区的首府——鲁南重镇临沂，企图楔入粮食基地沂河平原，深入鲁南解放区腹地，切断苏北、鲁南解放区的联系，从而达到对苏北，鲁南各个击破的目的。所以，当宿北战役尚未结束之时，中央军委便有指示：宿北战役结束以后的第二步作战，宜集中主力歼灭鲁南之敌，并相机收复枣庄、峄县、台儿庄，使鲁南获得巩固，然后无顾虑地向南发展。
骄傲的敌人在其第六十九师被歼后，并未调整部署。马励武虽有孤军突出之感，但自恃手中有第一快速纵队的坦克开路，天上有飞机掩护，仍然保持进攻态势，只是暂时就地筑工事防守，伺机继续向临沂方向进攻。其时，敌军的部署是：在临沂西南地区，整编第二十六师配备在最东边，第一快速纵队位于二十六师两个旅之间；整编五十一师配备在西边枣庄地区，距二十六师30公里；整编三十三军配备在南边，和二十六师也相距30公里。其中整编第二十六师为国民党军中央嫡系，又有第一快速纵队配属，战斗力较强。
对于这3部敌人，是按照惯例先打弱敌后打强敌，还是倒转来先打强敌后打弱敌呢？对此，中央军委有指示：第一仗似以打二十六师为宜。因该师系鲁南主力，该师被歼，全局好转，若先打第三十三军冯治安部恐一时不能解决鲁南问题。陈毅等权衡了敌我力量和利害，认为集中27个团的兵力首先消灭马励武部是完全可以取胜的，决定先打第二十六师。
许多准备工作是在由陇海路南到陇海路北的行进过程中进行的。在部队接近集结地域时，陈毅主持召集了师以上干部会议，传达了中央军委关于鲁南战役的指示，副司令员粟裕在会上介绍了敌情，宣布了野战军的战役决心，进行了具体的作战部署。陈毅特别向到会的各部队首长强调了集中统一的重要性，要求山东野战军和华中野战军加强团结，互相学习，密切协同，主动支援。这个会议开得很好，对以后战役的胜利起了重要作用。
为了便于指挥，将突击部队分力左、右两个纵队，右纵队担任攻占敌防御区左翼各山地要点，切断敌向峄县、枣庄的退路，阻击敌方来自峄、枣的增援，得手后，攻击向城，割裂第二十六师两个旅之间的联系，并歼其四十四旅，然后配合左纵队围歼第二十六师师部及第一快速纵队。左纵队担任歼灭第一六九旅及第一快速纵队的任务，并切断第二十六师与第三十三军的联系。地方武装则分别予以保障和配合。
战役于1月2日夜10时发起，由于行动突然，敌人在事前未能发觉，因而进展顺利。到4日晨，第二十六师师部及两个旅的大部已被歼灭，其残部和第一快速纵队也被包围于陈家桥、作字沟狭小地区。
第一快速纵队（简称快纵）是美蒋合建、由美军装备训练、蒋介石的儿子蒋纬国苦心经营的“国军精华”。它的编成，包括步兵第八十旅、战车第一团第一营、搜索营、工兵营、汽车团、中央直属榴弹炮兵第五团及第四团一个营，拥有坦克数十辆和汽车数百辆，而当时华东部队中的绝大多数干部战士不仅没有打过坦克，而且也没有看见过坦克。在宿北战役之前的台峄线作战中，陈毅便发现和敌坦克交手的部队打坦克的办法少，有恐惧心理。战后，他亲自调查总结打坦克的经验，提出“反坦克最有效是破路，锯大树作障碍并利用爆炸。我手榴弹、地雷爆炸力小，山炮、迫击炮命中率不大，机关枪能穿甲者效力最好。”曾一度掀起反坦克与土工作业的热潮，但由于时间短，没有实物可供演练，效果是不能估计过高的。
可是这回实战，很得“天时”了。当1月4日上午正准备攻击快纵时，天气由阴转雨，雨雪交加，寒风刺骨，道路泥泞，这就容易把敌人的重装备陷住了。敌人为了挽救失败，仍然派了飞机穿过低压的云层给予地面部队以支援，不过他所规定的空投联络信号和标志被陈、粟指挥部的报话机收听到了，也照样布置了空投场，使敌人的部分救援物资投送到了解放军手上。快纵见空中和地面增援无望，于10时左右开始突围。陈、粟立即指令左、右纵队各部队乘机突击，将其八十旅大部歼灭。未被歼灭的敌坦克、汽车、炮队和步兵混杂一起，沿下湖、漏汁湖之线向峄县方向夺路溃逃，但主要逃路和桥梁已被解放区军民破坏，并埋了雷、挖了沟，加上洼地泥泞，车辆、火炮陷下不能动弹。解放军指战员不顾坦克、大炮和各种火器的拦阻射击，奋勇冲入敌阵，拼刺刀，炸坦克，用秫秸、稻草烧坦克，甚至爬上坦克用铁锹、铁镐砸天线、砸折光镜，几个小时便把这支装甲部队打瘫。到下午3时，整编第二十六师和第一快速纵队共3万人全部覆灭。中将师长马励武还在峄县过年，只有钻隙逃跑的7辆坦克给他报了信。
鲁南战役的第一阶段胜利结束了。粟裕立即带领司令部的几位参谋人员赶赴现场察看，总结经验。接着，陈毅也偕张鼎丞、张云逸等巡视战常一些被俘的坦克兵说：“我们在印度、缅甸打了3年，一直是向前冲，美国人对我们也看得起，想不到今天会败得这样惨！”陈毅听了哈哈大笑，乘兴赋诗一首：“快速纵队走如飞，印缅归来自鼓吹。鲁南泥泞行不得，坦克都成废铁堆。”他们来到一辆刚缴获的美制坦克车前，陈毅纵身登上坦克，在高高的炮塔顶上坐下，一脚踏着炮身，和同行人员合影留念。
鲁南战役第一阶段结束后，按原定方案，第二阶段是乘胜寻歼整编第三十三军，但此时该军见第二十六师和快纵被歼，已于1月5日全部退缩到运河以南。另外，敌六十四、二十、十一等3个整编师已在向战区行动。
陈毅与粟裕商定，第二阶段同时攻取
峄县、枣庄，以便巩固鲁南。在他们拟订的作战方案报请中央军委批准后，陈毅坐镇野战军指挥部，粟裕则率一个轻便指挥所于1月9日拂晓到达峄、枣前线指挥作战。
攻击峄县的战斗从1月9日晚间发起，到11日凌晨已将7000守敌全歼，前一阶段逃到峄县的7辆坦克全部缴获，中将师长马励武也被生擒。第二天，陈毅在野战军指挥部接见了他。
在围攻峄县的同时，另一部则对枣庄发起了攻击。枣庄是现代化矿区，打枣庄是一场城市攻坚战，比较紧张，进展也比较迟缓。后经调整部署，充分准备之后，于19日下午发起总攻，在强大炮兵火力支援下，各部连续爆破，共打开5个突破口，突入市区展开巷战。
至20日下午1时，全歼守敌整编五十一师师部及两个团，活捉了中将师长周毓英。至此，整个鲁南战役胜利结束。
在全战役过程中，鲁南党、政、军、民各级组织积极配合作战，努力支前，全战役共动员民工60万人，显示了根据地人民的强大威力，从而保证了战役的空前大捷。华东野战军在共产党的领导和地方政府、人民群众的支援下，以8000余人的伤亡代价，赢得了歼敌5.3万余人的胜利，主要缴获有坦克24辆、榴弹炮、野炮、山炮89门，汽车474辆。
1月下旬，华东全军进行了统一整编。正式成立华东军区、华东野战军（简称华野）和中共华东野战军前线委员会（简称前委），陈毅被任命为军区司令员、野战军司令员兼政治委员，并担任前委书记。（军区政治委员饶漱石、副司令员张云逸、副政治委员黎玉，野战军副司令员粟裕，副政治委员谭震林）野战军直辖第一、二、三、四、六、七、八、九、十等9个步兵纵队和1个特种兵纵队。原华中野战军第十三旅（即中原突围之皮定钧旅）改为独立师，归第一纵队建制。步兵纵队按三三制的编制辖师、团、营等建制单位，特纵辖骑兵团、野、榴炮团及工兵、坦克分队，鲁南战役的大量缴获，为特纵的创建准备了必要的物质条件。野战军共约27万人。华东军区下辖鲁南、鲁中、胶东、渤海、苏北（由第十二纵队兼）、苏中（由第十一纵队兼）等军区和滨海军分区、东江纵队（后改番号为两广纵队），共约30万人。
在整编的同时，野战军在临沂附近召开了干部会议，传达中共中央和毛泽东主席的一系列指示。陈毅代表前委作了《一面打仗，一面建设》的报告。
陈毅首先指出了华东野
战军和山东战场的特点和承担的任务。他说：“华东野战军是山东、华中部队的汇合，（华东）是解放区兵力最大集中的地方，是解放区爱国自卫战争主要战线之一，又是美蒋集中大军进攻的主要方向。特别是今后，山东地区的战争将成为中国人民与美蒋恶势力的决战场所之一，因此我们的任务很大，担子很重。”他又提到华东全军的战绩，指出半年来总共歼敌26个旅以上，特别是宿北、鲁南两个战役，歼灭敌人3个整编师和1个快速纵队，这个胜利，对美蒋打击最重，影响最大，与全国解放区各兵团的伟大战绩配合起来，使我军必胜，蒋军必败的形势更清楚明显，连国民党的反动报纸和南京首脑部的人员也无法否认战局不利于美蒋的事实。陈毅更激昂慷慨地说：“这一次自卫战争，要使历史上未完成的民主斗争任务，在这一次最后完成。
我全体同志能亲自参与这个伟大的斗争，并且在斗争中担负重大任务是最光荣的，这是至高无上的革命幸福。”
由此，他从坚持人民军队建军路线的高度，针对当时部队中存在的某些不良倾向，号召全军要加强军队内部及军政、军民之间的团结，强调要树立整体观念，统一意志，统一行动，统一组织，统一制度；为了保障今后大规模作战的买施，一定要加强党的领导，加强政治工作，打破由于过去历史条件造成的山头主义、本位主义和游击主义；为了保持和发扬人民军队的本质和发挥内线作战的优势，一定要加强群众观念和群众工作，遵守纪律，支持和配合好农村的土改斗争；实行以战养战，夺取敌人武器以武装自己，明确树立兵员、武器、弹药等主要取之于敌的思想，要爱护装备物资，反对“破坏专家”；实行以战教战，打一仗进一步，从不断战斗中总结经验，学习新知识、新技术，使全军能掌握各种新兵器，能进行更复杂的战斗，能进行更大规模的会战；要爱护新战士，争取新解放战士，加强团结以争取伟大胜利。
陈毅这个报告，既贯彻了中央军委的建军方针和一系列指示精神，也在一定程度上反映了他的建军思想和认识。
在短期的休整中的工作是很多的，陈毅抓得很紧，中央也有指示：利用敌人大举进攻前夜全军休整，多一天好一天。休整即是胜利。可是，鲁南战役在1月20日结束，国民党军在1月31日便发动进攻了。
原来国民党军在苏北、鲁南连遭惨败，蒋介石认为薛岳指挥不力，便派其参谋总长陈诚前往徐州指挥。陈诚与薛岳会商后，仍留薛在徐州，他自己进驻陇海路东段的新安镇指挥。他们发觉华东解放军在鲁南战役之后，主力集结在临沂地区休整，而临沂是山东解放区的首府，共军必将固守，共军在连续作战之后“伤亡惨重，续战能力不强”。因此，陈诚急忙制订了一个“鲁南会战”计划，企图迫使华东野战军在临沂附近决战，以军事上的胜利来影响即将举行的苏、美、英3外长会议。其部署是：整编第十九军军长欧震指挥8个整编师20个旅组成主要突击集团，自台儿庄至城头一线分3路进犯临沂：其右路为黄百韬指挥的6个旅，中路为李天霞指挥的7个旅，左路为胡琏指挥的7个旅；以第二绥区副司令李仙洲指挥第十二、四十六、七十三等3个军9个师为辅助突击集团，由胶济路南下，直捣山东解放区在莱芜、新泰、蒙阴的后方基地，形成南北夹击的态势。他们不仅集中了华东战场上所能集中的全部机动兵力，而且出动了大批飞机对临沂等地狂轰滥炸；还从豫北、冀南抽调王敬久集团4个整编师集结于鲁西南地区，以阻止晋冀鲁豫野战军东援或华东野战军西撤。陈诚严令所属各部：“党国成败，全看鲁南一役，只许成功，不许失败。”
1月31日，陇海路东段的敌军采劝集中兵力，稳扎稳打，齐头并进，避免突出”的战法，以平均每日前进6公里左右的速度向北推进。同时，第二绥区司令官王耀武、副司令官李仙洲由济南赶赴博山，于2月1日召集高级军官会议，布置进攻。其先头部队于2月4日到达菜芜。一年前被迫从伪军反正的郝鹏举在这种形势下于1月27日率部叛变投蒋，被国民党部署在白塔埠、房山街地区担任进攻临沂的冀侧掩护任务。
面对此种情势，陈毅曾主持过多次研究，制定过诱歼南线敌军突出冒进的一路于临沂附近的方案，但敌人进军始终保持着齐头并进，华野未能实现预定的战役计划。2月4日中央军委又发来电报，指明：敌愈深入愈好，我愈打得迟愈好，只要不求急效，并准备于必要时放弃临沂，则我必能胜利；目前敌人策略是诱我早日出击，将我扭打消耗后再稳固地占领临沂，你们切不可上当。这些指示给华野前委负责人以很大启示，陈毅深深感到毛泽东主席以空间换取时间，集中兵力歼灭敌人有生力量的战略思想的英明。因为敌人逼我在临沂地区决战，我有了必要时放弃临沂的准备，作战的回旋余地就大得多了。思路敏捷的陈毅很快提出了一个重要的设想：既然南线敌人重兵密集，战机难寻，而北线敌人孤军深入，威胁我后方，我们何不改变原定作战方针，置南线重兵集团于不顾，而以主力北上，以绝对优势兵力，歼灭北线之敌。他要求粟裕对此作深入周密的思考。
粟裕觉得司令员这个设想十分高明。他又作了进一步的对比和分析，首先他对比了南、北两路敌人的不同情况，认为南线敌人有60多个团，我也仅有60多个团，在兵力上不能占有优势，不能对敌人实施分割包围；而北线敌军兵力小，战斗力相对弱些，内部派系矛盾多，如我将主力隐蔽北上，可以对其形成绝对优势，有把握予以歼灭。敌人既认定我必固守临沂，我军突然北上，定可出其不意。这样，我就可置敌在南线强大兵团于无用武之地，既可避免不利决战，又可在北线歼敌一大坨，粉碎敌之南北夹击意图，解除我后方威胁。
北线的敌人如发现我主力北上，可能回缩使我扑空，但即令如此，我还可乘势进击胶济路，打通鲁中、胶东、渤海三区联系，然后休整部队，以逸待劳，从容迎击南线北进之敌。而且我军还可采取种种佯动措施，迷惑敌人，只要能争取到几天时间，北线之敌便难逃被歼的命运。
粟裕又考虑了多种不利情况及处置方法，其中包括来自敌方的和我方的，以及后勤支前方面的，都向陈毅一一陈述。陈毅每听他说完一个问题，就说一声“对头”。等他全部说完，更非常高兴地一连说了几个“对头”。
然后又同谭震林及其他前委委员商量，都得到了完全的支持。
2月5日午时，陈毅签发了报请中央军委审查的三个作战方案：第一，以第二纵队进击白塔埠、房山街之郝鹏举部，诱右路敌东援或待中、左路敌放胆北进，然后视机歼其一路；第二，如敌仍密集不分，则以一部监视敌人，主力集结临沂以北休整待机；第三，如敌仍不北进，即转兵北上，求歼李仙洲集团。2月6日，讨郝战斗发起，战至7日黄昏，全歼郝总部及其两个师，生俘郝鹏举。但此时南面的敌人不但未前进反而略向后缩，北线的李仙洲集团部则继续南下。
正在讨郝作战时，军委回电，同意第三方案，并指出为执行此方案，对外应装作打南面之敌模样，使李仙洲集团放手南进，然后秘密移动全军，求歼李集团，并攻占胶济路。
其时，华野指挥部驻在临沂东南45里的新集子，当夜即开始向北转移，8日晚宿营于原军部驻地独树头，9日到半程，10日到徐北家庄，一路反复商量，到此时陈毅终于最后下定了决心：留下第二、第三纵队，由参谋长陈士榘指挥，伪装全军模样，在南面采取宽正面的防御，节节阻击敌人。主力隐蔽北上，求歼李仙洲集团，同时布置地方武装进逼兖州，并在运河上架桥，在黄河边找船，造成华野将从泰安、兖州间西渡黄河的假象，以迷惑敌人，在当夜，令主力分3路隐蔽北上。
陈毅兴趣来了，他写了一首新诗，题名《决胜之歌》，请文工团的作曲家迅速谱曲在第二、第三纵队的连队教唱。署名陈毅作词，把词曲油印发到前线的战壕里去，使敌人发现这歌曲，更相信华野主力将在临沂地区决战。
陈毅也乘车北上了。他在坦埠附近进入山区。一天晚上，他到了新泰县的太公峪村住下。鲁中军区第二分区司令员封振武来见，陈毅对他说：“看来这一仗就要在你们地区打喽，这必然给这一带的群众增加负担，你们二分区3个团，你带1个团随华野指挥部行动，另外两个团到指定地区活动，随时听从调动。”他在地图上划定了活动地区之后，又说：“你们二分区除了配合主力部队作战外，还要有个思想准备，必要时抽调补充主力，这个问题我已经给鲁中军区打过招呼了。另外你们还要准备足够的民兵、向导和担架，做到随叫随到。”封振武说：“请首长放心，保证完成任务。”谈话完了，陈毅送他到指挥部门前，突然问道：“听说这家房东是你的亲戚？”封振武颇为惊异，答道：“是的，这是我爱人的娘家。”“哦，看来我同你封振武结下缘分了，把指挥部设到你老婆家里了！”说完哈哈大笑起来。
过了不久，陈毅又把封振武找去当面交代任务，要他立即率领分区3个团沿着泰（安）、新（泰）公路，经徂徕山昼夜不停地向泰安方向运动。若是白天行军，要注意部队防空，要保持同野战军指挥部的通信联系。这次行动的目的是什么？为什么白天行军？白天行军不是容易暴露吗？封振武不便多问，便去执行命令，当他率领3个团向泰安方向挺进时，一些兄弟部队也正按照野战军指挥部的命令向兖州佯动，并在运河上架桥，这时他才恍然大悟：原来是在制造华野即将西渡黄河的假象以迷惑敌人，掩护全军主力隐蔽地向莱芜地区开进。
过了几天，指挥部又派人把封振武带到了指挥部新的驻地。机关人员刚吃过晚饭，正准备行军。陈毅立即对他说：“现在情况很急，我们马上要转移，大部队走后；李仙洲指挥的四十六军（按：即整编第四十六师）可能乘机由莱芜南犯，占领新泰、蒙阴两县，现决定由你率分区3个团阻击敌四十六军，迟滞其行动，使他不能那样快进占两县，你们能抗击5到7天最好。”
封振武对此颇有难色：二分区的3个团都是新建不久，装备也差，能抗击四十六军2.3万人一个星期吗？陈毅看出了他的顾虑，便说：“当年诸葛亮大摆空城计，身边只有两个老兵和一个琴童，迷惑了握有重兵的司马懿，你现在有3个团的兵力还不能同敌人周旋一番吗？你这个阻击战打得越好，越有利于我们大部队调整部署。”然后说：“详细情况请粟裕司令给你说吧！”
粟裕把封振武带到地图前，向他讲明情况并交代这个仗的具体打法，对他说：“这次给你的任务很艰巨，但也有许多有利条件，完成任务不成问题。
首先，敌人这个部队同他的上级有矛盾，对南犯蒙阴不甚积极，正处在进退两难之际。另外，你们可以打出主力部队的番号，虚张声势，迷惑他们。陈军长不是教你唱空城计吗，就是要造成敌人的错觉。古时不是有个孙膑战庞涓的故事吗？孙膑用每日减灶的办法诱庞涓上当，你这次不妨以增灶的办法，使敌人摸不清我们的虚实??。”封振武的思想大开了窍，信心百倍地执行任务去了。
对于李集团的行动，陈毅和粟裕等是极其关注的，早就派出侦察人员到北线活动。2月10日，据报在蒙阴前面抓到了国民党一个姓李的“高级特务”。
送来一看，这人竟是派到敌整编第四十六师去同该师师长韩练成联络的敌工科长杨斯德。原来经过中共南京办事处的工作，解放军早与韩师长取得了联系，并派了杨斯德和刘贯一两人到该部联络。这次是韩师长托杨斯德来通报情况的。此后，刘贯一也受托来汇报过。陈毅曾嘱刘贯一转告韩练成：第一，希望他努力民主事业。第二，中共中央和陈毅本人对他是信任的。第三，彼此之间的联系不便向下面讲，因而发生摸哨之类的事在所难免，不要见怪。
在这期间，陈毅的作战方案步步实现。自从主力于2月10日北上后，留下的第二、三纵队打着全军各纵队的番号在临沂外围阻击敌人，颇有一番准备“决战”的表演。坚持了5昼夜之后才后撤。敌人于15日进占临沂后，鼓吹“大捷”，宣称“在临沂外围歼共军16个旅”。第二绥区司令官王耀武却从航空侦察中发现大量解放军部队在向北行动，对进占临沂的“捷报”产生怀疑，判断华野系放弃临沂掉头北上，赶紧在16日命令李集团缩回莱芜、颜庄地区。但蒋介石、陈诚却相信了他部属制造的“捷报”，又得共军在运河上架桥，有西渡模样的情报，认为共军“东临大海、西际湖山、局促一隅，流窜非易”。“似将在东阿、范县间渡黄河”，因此严令李集团再度南进，确保新泰、莱芜，并派部队向蒙阴、大汶口侧击“陈匪”。同时又令第十一师、第六十四师等部西开临城，沿津浦路北上兜堵“奸匪”。
19日这天，蒋介石在南京“军官训练团”作《剿匪战役之检讨与我军今后之改进》的演说时，大放厥词。他说：“现在关内的匪军约可分为五部??此五部中，就我的观察，以陈毅一部最为顽强，训练最精，诡计最多，肃清最为困难。但自国军收复苏北攻克临沂以后，陈毅已失其老巢，就再不能发生过去一样大的作用了。”然而就在此时——2月19日，陈毅率领的主力已在莱芜东西地区形成了对其李集团的包围态势。直到这时，敌人才判明了华野的真实动向，赶忙命令李集团再向莱芜收缩，并令第七十三军的七十七师自博山南下归建。但要摆脱被歼命运，为时已晚。针对敌情，华野指挥部确定了攻击部署。
部署完毕，已是2月20日，陈毅又接见从敌整编第四十六师归来的刘贯一，陈毅将作战步骤告诉了他之后，要他掌握在攻歼李总部时不让韩去增援；为了求得此次战役的彻底胜利，要他二人继续留在韩部积极活动，动摇韩部军心，并要防备对方在紧急情况下可能反脸而产生的危险，要机动灵活，沉着应战；要刘立即返回颜庄韩部，等到晚间10点半炮响时，再把我们的决心和布置大体告韩，但不能过早泄漏秘密，否则会对战役增加很大困难。最后陈毅深情地同刘握手，对他说：“我代表党中央和华东局向你们二位同志表示党对你们的态度，党对同志们是非常爱护和关心的，为了完成这一光荣任务，需要你们两位同志去担当。要留下你们两个人继续在那边同两万三千敌人斗争。”这使刘贯一十分激动，他说：“党和上级耐心的教育了我好几年，我虽然质量不高，但是在任何情况下决不能向敌人屈服，请上级放心！杨科长的质量比我高的多，他也决不能向敌人低头，亦请首长放心！”这样，他们告别了。
这时，莱芜城东北方向发生了战斗，作战室向陈毅报告，这天早晨，敌第七十七师由博山南下，午后到达莱芜城东北之和庄、不动（地名）地区，预伏在该地区南北一线山地的第八、第九两纵队主力立即发起突然攻击，战斗进展顺利。陈毅十分高兴，对粟裕说：我们前后改变了7次作战方案，总算把李仙洲抓住了。当晚10时半即下令全线发起进攻。
21日晨，已报到首战告捷：敌七十七师已被全歼，攻城部队已占领莱芜以西以北的各要点，包围了敌人粮弹囤集点吐丝口镇，并攻占了锦阳关，只是未能切断敌整编第四十六师与七十二军之联系。22日上午，第四十六师缩进莱芜城，指挥部立即将第一、二、七纵队和第四、八纵队分别组成东西两个突击兵团，如敌固守莱芜，则从东、西两面实施强攻；如敌向北突围，则以第六纵队一部位于吐丝口以南坚决堵击，而以东、西两突击兵团合击突围之敌于莱芜、吐丝口之间地区。
李总部率两个军缩集于小小莱芜城，满城是兵，军心动荡，李仙洲束手无策。22日，王耀武令其迅速向北突围，退保济南和胶济路，指挥部查明这一情况，立即在莱芜、吐丝口之间布置了一个口袋阵以迎敌。23日晨，第四十六师师长韩练成毅然接受刘贯一、杨斯德的劝告，放弃了指挥，脱离了部队，隐藏在城内。韩的行动使敌军产生了混乱，敌人开始拥出城门向北行动，先头在吐丝口以南遭到顽强抗击，前进受阻，到中午，敌后尾脱离莱芜城。
华野立即占领该城、断其后路。下午1时前后，华野部队从四面八方向敌人猛攻，穿插分割，坚决消灭负隅顽抗的敌人。到下午5时，战斗结束，活捉了李仙洲。第七十三军军长韩浚率1000余人窜入吐丝口，纠合新三十六师残部向博山方向逃窜，在青石关被第九纵队全歼，韩浚也被活捉。一个被俘的团长感慨万千，他说：“就是捉5万只鸭子，也得费点功夫啊！”陈毅考虑到韩练成将军还须留在国民党军中工作，便让他带了卫队等100余人从莱芜东南山区“逃出共军的天罗地网”，向青岛方向而去。
战役结束的当天下午，蒋介石便带着俞济时从南京飞到济南，把王耀武骂了一顿：“你们只是在莱芜这个战役里就损失了两个军和一个师，损失了这样多的轻、重武器，增加了敌人的力量，这仗以后就更不好打了！”
失去了临沂“老巢”的陈毅此时却和粟裕、谭震林一起愉快地报告中央军委：“莱芜战役已于梗午结束??残敌正肃清中。此役共歼顽敌计17个步兵团加24个直属营约5万余人，另击溃暂十二师等部。个团之援队，详细战果以后续报。”“俟明晚全部情况明了，即派十纵、九纵向博山及胶济线推进，首先攻击铁道一段，我军大部争取三、五日休整再全力奔北。”
电报发了，便开晚饭。野司一位测绘员在他的日记中写道：“晚饭后，军长夫妇在广场上开汽车，粟带着家小爬山打枪，谭坐军长的车子，张参（按指副参谋长张元寿）在观看，和我们一群群真是象征着胜利后的自由愉快。”
28日，陈毅等遂率华野司令部移驻淄川东南之大矿地。
指挥部住进了大矿地附近的蒲家庄。据说这里是《聊斋志异》的作者蒲松龄的故乡，陈毅称心地说：“我们的干部会就拿到这里来开。”
陈毅在前委会上提议，莱芜战役的总结报告由副司令员粟裕来作。这个会在3月8日进行。粟裕表示谦虚，把他的报告叫做《莱芜战役初步总结的报告》，用了“初步”二字。陈毅便腾出手来，同华东局、华东军区、山东省政府的领导人全面安排工作。
从3月8日的总结会开始，一系列的会议便开起来了。休整工作很繁重。
3月13日，华东局、军区、野战军的领导人联名向中共中央和毛泽东主席报告了部队休整计划。其中说：“我们在前指集议，传达和讨论中央时局和任务指示，开了师及纵队干部会议，商定部队休整到3月底，项目是：深入中央指示的讨论，如何去完成今年作战新任务，并整顿纪律和军事操习，并续开参谋会议、政工会议，陈、粟、谭并抽空时间到各纵队去研究和帮助工作，饶、黎、张、舒抽时到渤海、胶东布置工作，同时利用此时而把八、九、十等3个纵队的编制成立。另外如能休整至3月底，可从渤海补入1万新兵，4月初，胶东亦有1万新兵陆续补充。从渤海运粮1亿至2亿斤到路南供应，同时从渤海、胶东、鲁中抽5个地方团把各纵队均补足9个团。以上各事办妥后，4月份即寻敌作战，执行新的作战任务。此时如南面或津浦线之敌保持比较分散状态，即连续在一个月内歼2至3个军是比较有保证的。”
此后，陈毅即往下奔跑，看练兵，作报告。当时在他身边工作的一位科长记述：陈毅“在部队教育中特别强调要提高政治素质，要重视政治思想工作，同时，他也指示：在现代化战争中，战争的规模越来越大，军事技术条件越来越重要，武器装备日新月异，我们要学会使用新的武器、学会新的作战方法。”
此时，全国革命形势正发生着巨大变化，经过8个月的战争，国民党虽然侵占了解放区105座城市，却被歼灭了71万军队，他不仅在军事上遭到严重失败，而且在政治上和经济上也遭到惨败，并陷入了严重危机。蒋介石在4月15日出席南京军官训练团开学典礼讲话时说：“今天我还要告诉大家：过去这一年中，政府为了要在政治外交上和共产党斗争，我们精神上所忍受的痛苦和无形的耻辱，较之前方作战牺牲几十万士兵有形损失，其令人悲愤的程度，尤有过之！”他一方面加紧镇压其统治区域的人民革命运动，一方面驱逐中共驻南京、重庆等地的谈判代表，下令进攻延安，并在3月15日召开的国民党三中全会上宣布“国共破裂，决心作战到底”。由于战线过长、兵力不足，已经无力继续其对解放区的全面进攻，被迫采用重点进攻的方针，将其进攻的主要兵力集中在陕北和山东两个战场，而对其他战场取守势。
为了对山东解放区实施重点进攻，莱芜战役后，便撤销了徐州、郑州两个绥署，以其陆军总司令顾祝同坐镇徐州，组成“陆军总司令部徐州指挥所”，统一指挥原徐州、郑州两个绥署的部队，又将王敬久兵团由冀鲁豫战场调到山东，使进攻山东的总兵力达到24个整编师，60个旅，45万余人。3月底，国民党军对山东的重点进攻正式开始。
已到南线的陈毅和张鼎丞、邓子恢一起致电粟、谭，并报告中共中央和毛主席：提议华野在胶济路之休整，如已可以告一段落，则请考虑新行动。
如敌5军等部4月初已到济南南线，集中力量修复津浦路，而济南之敌又拟重占胶济线，则我军可考虑向临沂、东海、新安之间突击。
次日，粟、谭与参谋长陈士榘回报：拟以第二、七、八纵队8.2万人伸入郯城、马头、新安镇，到新安镇后向西扩张占领运河线，继而渡运河西进，威胁津浦南段之势，诱敌七十四、八十三两师南缓，尔后再看情况而定。以主力第一、三、四、六、九纵队集结于蒙阴东南、临沂西北地区待机歼灭南线之七十四、八十二两师，或歼灭由泗水向东南增援之十一师，或歼灭大汶口向东进犯之第五军，以上部署于4月1日开始运动，14日左右才能打响。
4月1、2日，野指及部队开始南下，一般行动都不惊扰群众，不找向导，自带粮食。出乎意料的是华野的行动及企图，4月3日即为敌发觉。指挥部移至坦埠附近，仅3天即遭蒋机轰炸。
被炸以后，指挥部移至坦埠东北之西王庄，张茜担任了警卫排的政治指导员。事件调查的结果是，一个补充到连队的“解放战士”是一个反动的敌军排长，他在摸清了些情况之后逃回国民党部队告了密，险些出了大问题。
既然此次行动已暴露，乃改变决心，北上寻找战机。为了创造战机，陈毅提出了“耍龙灯”的办法，在运动和作战中调动敌人来回奔走。
4月中旬，敌人全线发起进攻。陈、粟随即于20日拟定了泰蒙战役计划，预定第一步以3个纵队攻歼泰安守敌整编第七十二师，吸引援敌而歼灭之。
经两昼夜激战，于26日攻克泰安，歼守敌七十二师（欠一个旅），活捉师长杨文泉。但敌人不援，打援计划未能实现。陈、粟又以第一、三、六纵队沿津浦路两侧南下，出击宁阳，威胁敌补给基地兖州，以调动敌第5军等部西援，野战军主力则主动放弃新泰、蒙阴，转到临沂、蒙阴公路以东，待机歼敌。28日，敌军先头进占蒙阴。陈、粟乘其第一兵团主力分散配置于临蒙公路、立足未稳之机，于29日以4个纵队突击桃墟、青驼寺段。但敌十分警觉，一经接触即退踞公路以南山区，仅歼敌第八十三师一个半团。以后又两次出现战机，或因主力转运不及，或因敌援迫近，均未成功。整个泰蒙战役，以歼敌2.8万余人胜利告终。
在这一个月的“耍龙灯”的高度机动中，诱使敌人往返行军1000公里以上。敌军哀叹，进入山东一个月未和解放军主力发生过战斗，只是每日行军，感到疲惫、惶惑。解放军指战员不少因没打到个痛快仗，顺口溜传出来了：“陈司令的电报嗒嗒嗒，小兵们的脚板啪啪啪。”为了进一步调动与分散敌人，陈、粟决定以第一、六纵队南下鲁南，第七纵队开赴苏北。
5月6日，中央军委电示：“今日收到你们2日电，得悉青驼寺歼敌3000，但因一纵远去宁阳，来不及集中兵力打七十四师等部，失去一歼敌机会。目前形势敌方要急，我方并不要急，基于青驼寺教训，尤不宜分兵，不但一、六纵不宜过早分出，即现七纵亦似宜暂留滨海地区一个月左右作为钳制之用。一个月后，看情况再行南下。因此，5、6两月，你们除以七纵位于滨海外，其余全部集中莱芜、沂水地区休整待机，待敌人前进或发生别的变化，然后相机歼击。一不要性急，二不要分兵，只要主力在手，总有歼敌机会。”
看来中央估计，3月初赋予华东全军在今后10个月内需歼敌40至50个旅的任务，会使下面产生急躁情绪，这样的指示一来，就给了战区指挥员以更大的机动余地，更好地考虑从实际情况出发了。但防止急躁问题，却引起了陈毅的极大注意。在他授意下，野战军政治部于5月10日发布了《华东野战军关于待机作战中的政治工作指示》。
4月28日，陈诚发出《对当前作战之指示》，其中说：“奸匪总兵力号称86万，民兵除外，其中实力较强者，不过陈毅（22万）、刘伯承（14万）两股约36万，如将其主力分别击溃，不难乘势收复整个华北，控制关内交通与东北围剿主力会合，再求彻底肃清残部。”
因此，当华野主力主动向北转移后，敌人乘机侵占了莱芜、蒙阴寨、河阳等地。5月10日，战机出现了：汤恩伯兵团的第七军和整编第四十八师从河阳出动，有进犯沂水模样。该敌位于汤兵团之右冀，比较暴露，陈、粟、谭决定首歼该敌，并视机打援。当夜23时，便给各纵队下达了指示，规定了5月12日拂晓前各部必须进入的地区。11日，各部紧张地行动起来。傍晚，野司前梯队开始出发，向沂水方向行动。就在天黑的时候，技术侦察部门收到了汤恩伯给他所属各部发的一道命令，要他所辖各部于5月11日开始先行攻略坦埠。其中以整七十四、整二五师为攻击部队，归第四纵队黄司令（百韬）统一指挥，除以一部控制孟良崮、北桃圩要点外，主力11日攻略三角山、水塘崮、杨家寨、黄鹿寨、黄斗顶山、芦家山坡、凤凰山各高地，12日攻略坦埠南而确保之；整六十五师仍巩固蒙阴防务。
这显然是一份十分重要的电报。从前线部队接触到的实际敌情来看，这份电报是可靠的。而且第一纵队报告他们已同敌人有了接触。
粟裕在接获这份电报之后，结合各方情报判断：虽然敌军行动尚未完全明朗，但敌人新的全线进攻却是肯定的了。敌军此次进攻的目的，一是实行中间突破，一举击中华野在坦埠地区的指挥中心，然后聚而歼之；二是估计华野不敢迎战，那就可以将华野压至胶东一隅或赶过黄河。这样就带来了有利战机。因为在此以前，敌军密集靠拢，行动谨慎，一打就缩，很难捕捉，此时敌军已开始全线进攻，并实施中央突破，华野即应改变先打七军、四十八师的计划，以反突破来对付敌人的突破，迅速就近调集几个强有力的纵队，以“猛虎掏心”的办法，从敌战斗队形的中央楔入，割裂七十四师与其左右邻的联系，将其彻底消灭。粟裕拿定主意以后，便向陈毅讲述了自己的看法和根据。陈毅听得非常认真，并在个别关键之处，作点强调和补充。当他听完粟裕的意见后，便十分肯定地说：“好，我们就是要有从百万军中取上将首级的气概！”然后把帽子摘下往桌上一摔：“不走了！”立即定下了战役决心。
但在此时，不仅各纵队均已开始向沂水方向行动，而且指挥部的前梯队已经走了，后梯队均已整装待发。由于保守机密，电台和无线电话停止使用，就连架设的有线电话线均已收起，只好由参谋处长夏光把指挥部现有的参谋人员动员起来，有的骑摩托车，有的骑自行车，有的骑马，有的跑步前进，分头通知第一、四、八、九纵队和特种兵纵队的领导人立即前来野司接受新任务，各部队就地停止待命，并向已离开野司到南线去的谭震林传达，请他就近向第二、七纵队传达和部署。
在各纵队首长参加的作战会议上，粟裕作了战役部署。以第一、四、六、八、九等5个纵队担任围歼任务，以第二、三、七、十共4个纵队担任阻援任务，然后周密地规定了各纵队的任务和动作，要求特种兵纵队集结待命。
陈毅完全支持粟裕的部署，并且强调说：集中优势兵力，先打分散孤立之敌，是毛主席一贯的军事思想。在敌人强大兵团展开进攻时，通常是打击敌人侧翼有利，但是当敌人连续遭到这种打击而防范严密、特别谨慎，问时中央之敌却比较疏忽大意、转进冒尖，而我军又在其附近隐蔽集结了相当兵力的情况下，采取一面抗住援敌，一面集中优势兵力猛攻中央之敌的战术，同样可以达到战役目的。这次围歼七十四师，就是这种打法，叫做百万军中取上将首级。
作战会议开得很成功，很快取得了一致认识，并决定战役从13日黄昏发起。
就在此时，一连收到中央军委两个电报。其中指出：敌人已进犯，可选择好打的，歼灭其一两个军，“究打何路为好，由你们当机决策，立付实施，我们不遥制。”13日，陈、粟发电报向中央报告了围歼敌七十四师的决心和计划：“一、七十四师11日开始向坦埠进攻，八十三师在青驼寺以北跟进，二十五师在蒙阴东南为其左翼部队，桂顽则在临沂东北汤头、葛沟。二、我们今晚集结一、四与八、九纵向七十四师出击，于明晨完成包围。战斗约需两三天，待歼灭七十四师后再视机扩张战果。”
歼灭七十四师的决定传达下去，军心振奋，连队流行过的顺口溜改词了：“陈司令的电报啪啪啪，咱们的飞毛腿嚓嚓嚓！”
敌七十四师5月11日并未行动。12日晨，才由重山、艾山间渡过汶河，占领了黄鹿寨、佛山、三角山、马牧池等地，与华野九纵一部激战于马山、迈逼山、大箭一线。13日下午4时，该敌攻占了马山等地，准备于14日攻占坦埠，敌二十五、八十三两师则分别进到旧寨、依汶庄地区。
华野以第九、四两纵队正面抗击七十四师的进攻，每一纵队则于13日晚开始，以小部攻击敌二十五师，主力则乘机从该师与七十四师的接合部向纵深猛插，然后进攻井占领蛤蟆崮、天马山、界牌等要点，另以一部逼近蒙阴城，构筑了阻击敌整编六十五师的强固阵地；八纵则从七十四师与八十三师的接合部插入，攻占桃花山、磊石山、鼻子山等要点；第六纵队于12日中午由鲁南地区兼程北上，于15日拂晓在第一纵队协同下攻占了垛庄，切断了七十四师的退路；八纵也攻占了万泉山。3个纵队迅速打通联系后，便封闭了对七十四师的合围口；并构成了阻绝第二十五、八十二师对外的坚强防御。
敌七十四师于14日上午发觉有被包围的危险时，便仓猝收缩南撤，企图退向垛庄；接着发现垛庄已失，便缩踞孟良崮、芦山地区。
七十四师被包围后，蒋介石认为该师战斗力强，处于易守难攻的高地，临近有强大的增援兵力，正是与陈毅决战的好时机，便一面命令七十四师师长张灵甫坚决固守，吸住共军，一面急令新泰之十一师，蒙阴之六十五师，桃墟之二十五师，青驼寺之八十三师，河阳之第七军和四十八师火速向七十四师靠拢，又急令莱芜之第五军南下，鲁南之六十四师和第二十师赶向垛庄和青驼寺，楼德之第九师赶向蒙阴增援，企图内外夹击，决一死战。这样，虽然陈、粟主力以5个主力纵队包围了七十四师，而敌军却以10个整编师或军包围了陈、粟主力。一场恶战在所难免，谁胜谁负尚待决战，而援敌急进，时间却是异常紧迫的。
陈毅与粟裕商定，在15日下午发起总攻。为了便于密切观察和指挥作战，粟裕率领少数参谋、机要人员组成的前线指挥所，由坦埠西移，到艾山脚下的张林村附近的一个“千人洞”指挥作战。
这时的关键问题在于：能否迅速围歼七十四师，能否阻绝敌军的多路增援。陈毅自恃有毛泽东精深的战略战术指导，有百炼成钢的华野部队的英勇善战，有数十万地方武装和民兵、群众的支援，再有粟裕这样精明的助手配合，他是信心百倍的。他当即发出了“歼灭七十四师，活捉张灵甫”的口号。
广大指战员立下了“攻上孟良崮，活捉张灵甫”，“消灭七十四师立大功，红旗插上最高峰”的誓言，各级指挥员到第一线指挥，一场剧烈的阵地攻坚战展开了。
总攻令下达后，陈毅诗兴勃发。这给了身边一位参谋一则日记的内容：“今天已将七十四师压缩在孟良崮山地，正集中一、四、六、八、九纵于今晚总攻孟良崮、陈毅司令员在作战室随笔：盂良崮上鬼神号，七十四师无地逃。
蒋贼专横嗟命薄，美帝侵略徒空劳。
华东战场捉笼鸟，沂蒙山区似虎牢。
原野麦黄家家足，人民军队胆气豪！
（这首诗，战后陈毅将它修改为七律两首）战士们在彻夜鏖战，争夺山头，陈毅坐镇指挥部，也是通宵达旦。他一会儿拿起电话要一纵：“叶飞吗？党中央、毛主席又来了指示，说不要贪多，首先歼灭七十四师。现在敌人的10个整编师围在我们四周，先后打响。当前你们的主要任务是协同兄弟纵队把七十四师这个轴心敲掉。这样，敌人就没有巴望了。我们也就免得两面作战了。如果拖延下去，情况的逆转是可以预料的。”一会儿又给九纵打电话：“许司令吗？现在各路援敌节节逼近，打援阻援的部队打得很艰苦，很顽强。聚歼七十四师，成败在此一举，我们能争得的时间已经不多了，你们要尽快把盂良崮拿下来！”
各位纵队司令部有钢铁般的回答，然后立即把这种意志用电话向师长们下达。
陈毅赶到前指和粟裕会合，粟裕和一位纵队司令通电话，谈到调整指挥关系问题，通话发生“故障”，粟裕说：“军长在这里，军长同你讲话。”
陈毅当然明白遇到老资格了，接过话筒说：“粟司令的意见就是我们的意见，你们照办。”话筒里也就平静了。
围歼战是异常惨烈的。敌人缩集于孟良崮、芦山及其附近山地，依托岩石，居高临下，不断发起反击。敌人真的用上“人海战术”了，成群结队地往下打。每一个山头、高地、要点，往往要经过多次的反复争夺，不仅刺刀见红，甚至枪托也砸上了脑浆，到处血染岩石，尸体成堆。敌人粮尽水绝，空投补给又大部落到解放军手上，数以万计敌军已陷入极端饥渴难支的困境。
16日上午，陈、粟再次下令发起攻击，强大的炮火首先发扬了火力，向敌人盘踞的山头、高地猛轰，接着步兵在猛烈的炮火掩护下冲击，越战越勇，只进不退。下午，便攻占了所有高地，敌人的官兵有的打起了白旗，统统投降缴械。骄横的张灵甫等也被击毙，各路解放军健儿会师孟良崮、芦山顶峰，欢呼声震撼山岳。
在收拢部队、清点战果时，侦得有敌人电台活动，似有残敌隐匿。其时，黑云盖天，山雨欲来，能见度极低，严密搜索的部队在孟良崮与雕窝之间发现了数千敌人。粟裕即令第四、八、九纵队出动兜剿。至下午5时全部肃清。
至此，七十四师彻底歼灭。粟裕打电话来向陈毅报告以上情况，陈毅在电话里兴奋地说：“我在电话里向全体将士祝酒致敬！”说完，如释重负般地坐下来，长叹了一声：“嗨呀，这三昼夜算是熬过来了。以后我的儿子，再不能叫他去带兵打仗！”他这话引出了满屋笑声。笑声未止，电闪雷鸣，一场暴雨倾盆而下。
现在又转到蒋介石出台发表感想了。5月19日，他跑到南京军官训练团对第二期全体学员讲《对于匪军战术的研究与军队作战的要素》，他说：“七十四师这次在鲁中攻击匪军根据地坦埠??整个失败，这是我军剿匪以来最可痛心、最可惋借的一件事。”5月30日，陈、粟、谭、陈报告中央军委并刘、邓：“（一）据最后调查证实，七十四师师长张灵甫、副师长蔡仁杰、五八旅旅长卢醒，确于16日下午2时解决战斗时，被我六纵特团副团长何风山当场所击毙。当特团何副团长走近张灵甫等藏身之石洞，据师部副官出面介绍为张灵甫等人。现尚在俘官处可证。
（二）另查出51旅旅长陈传钧、副旅长皮宣猷、57旅旅长陈嘘云、参谋长魏振钺、副参谋长李运良、58旅副旅长贺翊章、师新闻处副处长赵建功均被俘，现在野战俘官处生活。”
6月9日，孟良崮战役中放下武器的敌第七十四师将校举行时事座谈会，陈毅和到会者会见，一一握手并致慰问。当将校们谈到七十四师失败的原因时，陈毅说：“历来国民党军失败均归咎国防部，归咎陈诚，我在此替陈诚分辩几句。其实陈诚本人也很难作主，一切都有蒋介石老头子紧紧控制着。”
谈到蒋军失败的原因，陈毅说：“蒋介石自北伐中期叛变人民，走上法西斯独裁专政的道路。蒋介石的这一条反人民的错误的政治路线，必然产生错误的战略路线。在蒋介石独裁媚外的政策与战略的双重错误下，国民党军队之遭受失败是必然的。例如贵军在抗战中的战功表现很好，战斗力亦堪为国民党军队之冠。可是一到内战战场，仍然逃不脱被歼的命运。各位应深深研究其中的原因。”陈毅又说：“对于各位此来”我应负责照料大家、爱护大家。
贵师长张灵甫、副师长蔡仁杰之牺牲，毫无意义，应该惋惜。各位留在解放区内好好研究问题，重新认识问题，各位应视为平生最大幸事。我们能帮助你们的地方，一定尽量帮助你们，绝不为难。”散会后，陈毅与他们共进晚餐。
孟良崮战役的胜利，迫使重点进攻山东的国民党军暂时转入守势。5月22日，中央军委发来电报，指出“歼灭七十四师付出代价较多，但意义极大，证明在现地区作战，只要不性急，不分兵，是能够用各个击破方法打破敌人进攻，取得决定胜利。在现地区作战，是于我最为有利，于敌最为不利。现在全国各战场除山东外均已采取攻势，但这一切攻势的意义，均是帮助主要战场山东打破敌人进攻，蒋管区日益扩大的人民斗争其作用也是如此，刘、邓下月出击作用也是如此。而山东方面的作战方法是集中全部主力于济南、临沂、海州之线以北地区，准备用六七个月时间（5月起），六七万人伤亡，各个歼灭该线之敌。该线击破之日，即是全面大胜之时，尔后一切作战均将较为顺利。”这一指示，似乎已在相当程度上改变了中央军委原订的战略方针。陈毅曾经阅过中共中央今年1月24日一份电报，其中说：“我们已令刘、邓缩短内线作战时间至4月底为止，准备5月开始（包括休整时间在内）向中原出动，转变为外线作战。华东方面亦请按此计划办理，努力争取于‘五·一’以前在内线解决蒋军主力，并完成外线作战的一切准备条件（弹药、新兵、干部、经费等）。”中共中央的这项安排，后来尽管蒋军将山东作为重点进攻的地域之一，也未作改变。5月8日，中央军委曾有过这样一份电报，提出了刘邓大军南渡黄河，进击冀鲁豫、豫皖苏，进而进击中原的战略计划，要求华野在6月10日前集结全力（27个旅）寻求与创造歼敌机会，并准备于6月10日以后配合刘邓大军大举出击。而中央5月22日的新精神则以山东战场为全国战场的轴心，华东野战军坚持现地作战的意义和任务显然都加重了。
为了贯彻军委这一重要指示，陈毅召集了前委会议作了认真的研究，并于5月28日至6月2日在沂水县西北的坡庄召开了团以上干部会议传达讨论。陈毅在29日晚上作了军事问题的报告。他根据当时战局特点，针对部队思想情况，全面他讲形势和任务问题。他着重指出：敌人集重兵于山东，虽然加重了华东军民的负担，却为其它战场实施反攻作战提供了很大便利，目前除山东和陕北外，各战略区均已转入反攻。国民党已面临崩溃的前夜。但就山东局部情况来看，敌人正积极准备大举进攻，仍图寻我主力作战，我们还须准备打恶战。因此，我们必须继续强调统一集中，巩固内部团结，坚决服从领导，执行命令，戒骄戒躁，坚持山东战场，分批歼灭敌人主力，彻底粉碎敌人的重点进攻，争取战局转变，并为本身反攻创造条件。为达此目的，必须认真研究中央的指示，深入学习和执行毛主席关于运动战、歼灭战的方针，认清战局，提高胜利信心，强调全局观念，提高对全局的革命责任感。
陈毅的报告在军事问题及建军工作部分都结合对孟良崮战役进行总结，一些干部听后，将其基本精神扼要地在笔记本上写下三句话：不急躁，不分兵，坚持山东基地歼敌。
国民党方面也在加紧准备进攻。蒋介石在南京军官训练团第三期研究班说：“我自张师长（灵甫）殉职以后，立刻命令前方（沂蒙山区）部队停止进攻，同时召集各将领来彻底检讨，彻底研究，彻底改正我们部队的作风和习惯，重新决定我们的战略战术。必须等到我们全军一番起死回生的改造之后，乃能作进一步的打算。”蒋介石赌咒发誓似地说：“沂蒙山区之战，是我们革命军人生死存亡所关的一战，挽回颓势，把握胜利，就要从这一战开始。我决定把全副精神用在这个战场上。”
蒋介石为了“起死回生”，起用日本战犯冈村宁次为顾问，提出了“并进不如重迭，分进不如合进，以三、四个师重迭交互前进”的指导方针，重新编组进攻兵团。将进攻军队主力9个整编师共25个旅调集在莱芜至蒙阴不及100华里的正面上，摆成方阵，于6月25日再次向鲁中山区发动进攻。26日午后，蒋机把悦庄、南麻一带炸成一片烟海。
鉴于蒋军兵力集中，一时难以分割歼击，陈毅与粟裕、谭震林于28日、29日商定了各路派兵挺入敌后的方针，并于29日命令陈士榘、唐亮率三、八、十纵队转赴莱芜、泰安、大汶口之线，执行歼击八十五军或十二军一部或大部之任务；命令陶勇纵队由临蒙线西进歼冯治安之一个团，尔后或向西北或向西或向南，视情况决定。当晚，以上各部都已行动。
第二天，收到了中央军委29日12时发来的一份电报，提出了新形势下的作战方针，希望陈、粟、谭提出意见，以便决策。军委的电报说：“蒋军毫无出路，被迫采取胡宗南在陕北之战术，集中9个师于不及百里之正面向我推进。此种战术除避免歼灭及骚扰居民外，毫无作用，而其缺点则是两翼及后路异常空虚，给我以放手歼击之机会。你们应以两至三个纵队出鲁南，先攻费县、再攻邹、滕、临、枣，纵横进击，完全机动，每次以歼敌一个旅为目的。以歼敌为主，不以断其接济为主。临蒙段无须控制，空费兵力。此外，你们还要以适当时机，以两个纵队经吐丝口攻占泰安，扫荡泰安以西、以南各地，亦以往来机动歼敌有生力量为目的。正面留4个纵队监视该敌，使外出两路易于得手。以上方针，是因为敌正面既然绝对集中兵力，我军便不应再继续采取集中兵力方针，而应改取分路出击其远后方之方针，其外出两路兵力，或以两个纵队出鲁南，以三个纵队出鲁西亦可。”陈毅等当即进行了研究。很明显：军委这个新方案改变了过去要求华野不分兵、坚持内战歼敌的方针，陈、粟、谭觉得，中央军委的这个改变，在电报上只提到根据于山东当面的敌情的变化，而在全局上看，刘邓大军必将出击，未来的战局必有新的重大变化。当时，由于敌情严重，华野已在分兵，陈、粟、谭未再根据当面情况研究并制订一个新的方案上报军委，而是按照军委的意见执行，由陈、粟、谭“率二、六、七、九4个纵队在沂水东里店以东地区待机”。
陈毅和粟、谭于30日一面将以上部署报告军委，并预计“如我西进部队各路均达成歼击敌军之任务，敌局势必变，集中东进之10个师必被迫分散回援或集中回援，届时我们手中4个纵队似有良好出击机会。”一面将“军委指示”‘转各出发部队依照执行”。
但是，在华野分兵后，陈毅接到中央军委7月2日来电，除指出陈、粟、谭6月30日的分兵部署甚好外，还要求陈士榘、唐亮率领的3个纵队在打泰安得手后，“收复肥城、东阿、平阴、宁阳、汶上、济宁，与刘、邓直接联系后，并应准备出鲁西与刘、邓协同打陇海路，出淮河开展新局面”。“我军必须在7天或10天内，以神速的动作，攻取泰安南北及其西方、西南方地区，打开与刘、邓会师之道路”。此后，中央军委又决定叶飞、陶勇两个纵队也向鲁西南挺进。这样，陈、粟、谭在6月底实行的这次分兵，便成为华野部队执行外线出击任务的开始。而当刘邓大军开始向大别山跃进以后，中央军委在11日电示：“总的意图，将战争引向国民党区域，使我内线获得喘息机会，以利持久。显然，全国主要战场已由山东转向中原，战略重心已由内线转到了外线。当此解放战争由战略防御转入战略进攻的重要关头，陈毅既要领导华东全军打破敌人的重点进攻，又要配合刘邓大军挺进中原，还需准备自己不失时机地转入战略进攻。在这严重时刻，又一个雨季到来了，陈毅将在第二个雨季中赢得解放战争的又一个考验。
当6月30日华野3路分兵之时，刘邓大军依据中央军委总的战略计划，强渡黄河，对鲁西南地区之敌展开猛烈进攻，连续歼敌获胜。7月7日，华野第一、四纵队全歼费县守敌一个旅，击溃援敌另一个旅。同日，第三、八、十纵队向津浦路大万德、大汶口段实施进攻，守敌大部逃窜。9日，第一纵队又收复峄县、枣庄，迫敌第三绥区各部退守运河沿线。由于刘邓大军的攻势异常猛烈，华野第一、四纵队逼近津浦路，第三、八、十纵队于13日渡过汶河，向宁阳、曲阜前进，严重威胁蒋军后方基地兖州、徐州等地。鲁中的敌人在占领沂水、东里店后停止向东进犯，改变部署，调第五军等7个整编师自13日开始陆续后撤西援，企图配合其后方各点守敌，先夹击华野转入反攻的5个纵队于鲁南及兖州、曲阜地区，然后再救援鲁西南。鲁中山区的大量敌军调走了，仅留下第十一、六十四、二十五、九等4个整编师。蒋军企图以“重点进攻”战略在鲁中山区击破华野主力的计划遂告破产，一个极为有利的形势在当面展现出来。陈毅在胜利形势的鼓舞下，与粟、谭商定，遵照中央军委指示，命令各部继续向敌展开猛烈进攻。其结果，正如后来陈毅所说：“因雨季没有打好仗。打敌十一师（7月17日至21日在南麻），5天5夜只消灭1个团，（7月24日至30日）在临胸5天5夜只消灭2个营，打费县消灭1个旅，打泰安敌人逃跑了。7月打8仗只有3仗打好。”
华野指挥部从临胸前线撤出后，辗转经益都到达陈家。8月4日这天，粟裕起草了关于南麻、临胸战役的初步总结的电报报告中央军委，引咎自责。
陈毅对此甚感不安。他始终认为，几仗未打好，彼此有责，不能由粟裕一人承担责任。其时，陈、粟、谭已经研究确定，由谭震林组织一个指挥机构率领第二、第七纵队前去胶东休整。出发前，谭震林挤出时间给粟裕写了一封信，谈了自己对这次战役的看法，请陈毅转交，陈毅当着谭震林的面将信看了一遍，准备3人一起把问题谈通。但由于指挥部即将移动，未能安排出时间。当夜，野战军指挥部经由临淄西关、索镇到达郭店。陈、粟在处理其它紧急公务之后，作了彻夜长谈。8月6日，陈毅写了份“指人译”的电稿，报告中央军委和华东局：“（一）??最近粟、我共谈，粟态度可佩，昨夜长谈，对今后共同工作很有好处。
（二）我认为我党廿多年来创造杰出军事家并不多。最近粟裕、陈赓等先后脱颖而出，前程远大，将与彭（德怀）、刘（伯承）、林（彪）并肩迈进，这是我党与人民的伟大收获。两仗未全胜，彼此共同有责，不足为玻谭、我本此观点，互相研究教训，粟亦同意。??。
（三）我本挽三人共谈，谭因东行，故谭未参加。谭临行遗书，此书临别我看了一遍，对粟有帮助，??。我们对战役指导部署历来由粟负责。过去常胜者以此。最近几仗，事前我亦无预见，事中亦无匡救，事后应共同负责，故力取教训以便再战。军事上一二失利实难避免，虚心接受必为更大胜利之基矗??”这份电报，当时的译电员特别注明“错字尚多”，以后己不能订正。但就是这样，作为一支野战军的统帅，陈毅那种为党和人民革命事业的赤诚，那种深明事理、知人克己的恢宏器度却跃然纸上。
陈毅是如何“力取教训以便再战”的呢？后来他曾说：“一年来战争出现这样的规律：“此起彼落”。“先打几个胜仗，又碰了钉子，又打了几个胜仗”。“我党20余年的历史也是胜败的反复，胜利了便轻敌，种下栽跟斗的因素，失败又是胜利的因素。领导上主要是在栽跟斗之后，如何领导爬起来。”
在陈毅发报的当天，收到了中共中央和中央军委于8月5日合署发给陈、粟、谭、华东局并告刘、邓的电报，指示：“陈率六、九纵应迅速转至东面，与谭及二、七纵会合，从背面钳制敌人，不使敌达到驱我过黄河目的。但目前你们有5个纵队已到运河以西，正好协助刘、邓执行出击计划??你们速派粟裕西去统一指挥5纵，将全军供给重心经渤海转至鲁西南，争取在鲁西南立足，协助刘、邓作战，否则有被敌驱过黄河危险，你们必须严重对付此种情况。”
要粟裕到西面去指挥华野5个纵队的事，中央军委在两天前已经说过一次了。当时，粟裕向陈毅提过以下意见：一、华野今后主要作战方向和指挥重心是在外线，请陈司令一同去以加强领导。二、为进一步集中兵力造成战役上的优势，建议增调第六纵队到西线。三、留山东内线的第二、七、九纵队组成东兵团，由谭震林、许世友指挥。陈毅表示同意，将上述意见联名报告了军委。中央军委于8月6日作出决定：陈、粟率华野机关及第六纵队、特种兵纵队赴鲁西南，统一指挥华野第一、三、四、六、八、十纵队、特种兵纵队，及配合华野作战的晋冀鲁豫第十一纵队，统称西兵团。内线成立东兵团。于是，陈、粟决定北渡黄河，经惠民、禹城、聊城转赴鲁西南。
8月11日，华野指挥部在伴庄渡口渡过黄河。第二天上午，为了防空，指挥部在一座比较隐蔽的公路桥下开会。天气炎热，大家不停地摇扇子。参谋处长夏光似有所感，提起毛笔在自己白色的纸扇面上题写了8个字：“黄河已过，君心甘否？！”陈毅伸手把夏光的纸扇接了过去，想了一想，也提起笔来，在旁边写了首五言诗：“昨夜过黄河，风大浪又恶??”接着就写如何乘风破浪，夺取胜利，以“高粱玉米熟”来煞了尾。陈毅的题诗被粟裕发现，又把扇子拿过去，在背面也题了一首诗，在笑声中互相激励，以求合力完成战略大转变。（遗憾的是，这把扇子在20年后的“文化大革命”中被作为“四旧”扫掉了。）到了惠民，野直大部继续向聊城前进，指挥部则率电台暂留惠民督促物资弹药兵源迅速西运，以便西兵团迅速得到补充。
陈毅在惠民心情并不平静。他已经收到了刘、邓8月8日申时发来的电报说：“顷，我们决心转至外线”。对其行动，军委于8月10日颇为称赞：“在敌主力东进郓城、西迫鄄城情况下，我在郓、巨作战已不适宜，即北撤亦来不及，只有南进才利机动，刘、邓决心完全正确”。刘、邓的提前出动，加快了陈、粟运筹9月出击的步伐。
外线出击困难固然增加许多，但是敌人误以为“山东共军已溃不成军，不堪再战”，骄狂起来，已有新的战机可寻，粟裕经过反复思考，计划了两个歼敌方案。陈毅认为这一仗关系重大，应力求全胜、必须慎重，要他先向陈士榘、唐亮征求意见。交代以后，陈毅抽空前去渤海，料理一下后方的工作。百忙中，他特别惦记着第十纵队的事。该纵队在郸城地区同国民党第五军打了几天后，退过黄河到东平湖西一块狭窄地区休整，突遭敌军袭击，背水一战，颇有损失，现已开到张秋镇一带整理。陈毅觉得应该赶紧到那边去看看，做些“领导爬起来”的工作。
29日晚饭后，陈毅上了吉普车，向西南驶去。他坐在驾驶员的旁边，把帽沿转到后脑勺上，开始一支接着一支地抽烟，看来是在为到十纵队去讲话打腹稿。陈毅到了十纵队后，先和领导人谈话，30日下午便给全纵队营以上干部讲形势任务，说明大家正处在由内线作战到外线作战的过渡阶段，任务很重，困难不少，前途光明。他对大家作了许多安慰和鼓励，也严厉地批评了不冷静，不沉着而造成挫折的问题，对大家的教育和鼓励很大。陈毅本想更深入地解决一些问题，但到9月1日上午，野战军指挥部要他赶回去，他知道事情重要，已经做好的午饭也不吃了，说走就走。
毛泽东主席在30日这天亲自给陈、粟发来了一份“绝密”电报，电文中说：“目前中心环节是在陇海南北积极行动，歼击及抓住五军、五十七师，攻占一切薄弱据点，直接援助刘、邓。??现在欧震、张淦、罗广文、张轸、王敬久、夏威各部均向刘、邓压迫甚紧，刘、邓有不能在大别山立脚之势，务望严令陈、唐积极歼敌，你们立即渡河，并全力贯注配合刘、邓。”陈毅记得毛泽东曾在上个月底发过一份极秘密的电报给刘、邓并华东，说明“陕北甚困难”，已经反映了中共中央领导人的严重处境。但从现在这个电文中他更感受到了毛泽东十分焦急的心情。于是审时度势，下定决心，对粟裕说：“采取第二方案，争取早打。”正好粟裕也是这样想的，还在陈毅回指挥部之前已作了许多准备和安排，“西字第一号命令”已经下达，各参战部队已经在作行动准备。
9月3日晚，陈毅、粟裕率野战军直属队、第六、第十纵队南渡黄河。9月5日在邪城及其附近集结，并与第一、第三纵队会合。至此，华野第一、三、四、六、八、十纵队、特纵及晋冀鲁豫第十一纵队均已集结于沙土集南北地区，完成了第二方案规定的战役布局。
6日晚上，指挥部召集了纵队领导干部会议，陈毅主持，让大家充分发表意见。粟裕更反复说明早打的好处和取胜的条件。他强调地说，只有打，才能有力地配合刘、邓，才能扭转现在的被动局面，部队才能得到补充和休整，打好了，鲁西南根据地就能重建起来。经过民主讨论，大家统一了思想，并且一致同意首先歼灭五十七师。
真是一环紧扣一环，会议开过，9月7日，五十七师便积极北犯，与第五军之间拉开了20公里的空隙。战机已到，陈毅、粟裕遂下令攻击。当天晚上便对五十七师形成了合围。经8日一天激战，沙土集外围敌据点几乎全部肃清，夜晚6时，发起总攻，军政攻势一齐展开。9日凌晨3时，便将敌57师全部歼灭，计毙伤2000余人，生俘中将师长段霖茂以下7500余人。缴获了大批武器弹药。
早晨，陈、粟报告中央及各方：“我军于虞日开始于郓城南，举行钳制五军、歼灭五十七师的作战。经一日两夜战斗，已全歼五十七师于沙土集，仅有少数向东突围，正追击中。此役经10日来与五军纠缠，始吸引五十七师落网。同时，打垮刘汝明两个旅的数次增援，及五军整6日的不断进攻。我军士气甚旺，决迅速转移攻势，予五军以歼灭性打击。”
11日，收到中央回电：郓城沙土集歼灭五十七师全部之大胜利，对于整个南线战局之发展有极大意义，并向西兵团全军将士致庆贺慰问之忱。
战略大转变对于华东全军带有相当大的突然性。分兵、外线出击、雨季行军作战，造成了很严重的困难和被动。陈毅、粟裕坚决地“领导爬起来”，终于扭转了战局，向深广的敌后大举进军，在扭转反革命车轮，推进革命车轮的历史性转折中，显示了中国共产党领导的这支华东野战军的英雄本色。