鲁南战役后，根据中共中央军委和毛泽东的指示，华东两大野战军进行了正式的整编，成立华东军区，并在华东局和华东军区之下建立华东野战军，下辖11个步兵纵队，并用从国民党军手里缴获的大量的火炮、坦克、汽车和俘虏组建了一个特种兵纵队，全军共27.5万人。野战军领导成员为：司令员兼政治委员陈毅，副司令员粟裕，副政治委员为谭震林，参谋长陈士渠，政治部主任唐亮。此时，华东战略区总兵力已达57.5万人，比战争开始时增加了近20万人，特别是野战军由初期的13万人发展到27.5万人，已经超过国民党军华东战场上用于机动作战的兵力，这是一个重大的转折。
再说华东地区国民党军，在连遭宿北和鲁南两次重大打击之后，包括蒋介石在内的各将领都像发疯的赌徒一样，并不甘心失败，自恃兵力雄厚，再次准备向山东解放区发起新的进攻。蒋介石和陈诚、薛岳等错误地认为，以损失20多万人为代价，占领了中共华东比较富庶的苏皖解放区，并把解放军主力挤到山东境内，这是“国军”战略上的“重大胜利”。国民党军参谋总长陈诚到徐州后对绥署各级将领大加安慰，认定：“在先期的进攻中，国军虽略受损失，但就全盘而言，实属莫大之成功。共军因连续作战必定伤亡重大而大势已去。”
随后，陈诚与薛岳进一步制定了一个大胆的“鲁南会战计划”。报蒋介石批准后，蒋下令由陈诚亲自掌兵，坐镇徐州督战，与陈毅、粟裕的华东解放军在鲁南进行决战。陈诚向蒋介石夸下海口：“鲁南会战，关系重大，党国前途，剿匪成败，全赖于此，只许成功，不许失败。”
国民党军鲁南会战计划的重点是，在陇海路东段与胶济铁路西段分别组织2 个攻击集团，南北对进，聚歼华东野战军主力于临沂地区。以南线为主要突击方向。
由整编第19军军长欧震指挥整编第11、第64、第59、第25、第65. 第74、第83各师及桂系第7 军共20个旅，组成主要突击集团，也称南线集团。自陇海路东段台儿庄至城头一线，分三路沿沂河、沐河北犯临沂——华东军区、华东野战军和中共中央华东局所在地。以第二绥靖区副司令官李仙洲指挥第12、第46、第73军共9 个师（未整编）为辅助突击集团，由胶济路明水至张店之线南下，乘虚袭击华东军民的大后方，实行南北夹击的战略。同时，国民党军还从豫北抽调五大主力之一的第5 军及整编第75. 第85. 第72师集结在鲁西南地区，阻止华东野战军西撤和晋冀鲁豫野战军东援。
徐州绥署于1 月28日给南线集团下达了作战命令。1 月31日，欧震集团开始行动，左、中、右三路纵队齐头并进，步步为营，稳扎稳打，每日行程不足10公里，完全向推土机一样，由南向北平推。
就在国民党军大兵压境的情况下，发生郝鹏举叛变的严重事件。
郝鹏举在大革命时期曾与萧劲光、朱克靖等同在苏联莫斯科炮校学习，回国后投靠蒋介石。抗日战争时期，又率部投靠日本侵略者，成为伪军。抗战胜利后，又投靠蒋介石，被蒋改编为国民党军任第6 路军总司令。1946年1 月9 日，郝鹏举在进攻解放区的战争中被陈毅击败，所部改编为华东民主建国军。1947年1 月27日，郝鹏举在国民党军统局的策反下，再度投靠蒋介石，被编为国民党军第42集团军。郝鹏举还恶毒杀害了派人该部工作的解放军代表10多人，其中包括朱克靖同志。
正在紧张筹划作战的陈毅和粟裕得知郝鹏举再次叛变并杀害华东解放军优秀的指挥员朱克靖的消息后，真是义愤填膺。陈粟当即发誓要让郝鹏举血债血还。
根据新的敌情，陈粟曾于1 月26日提出集中50个团的兵力，先打南线国民党军右路的初步方案并上报军委。27日，毛泽东复电同意，认为“先打右翼较弱之敌很好”，“总以多打弱敌孤立强敌为原则。”28日，毛泽东又在电报中指出：“敌人的进攻将于不久时间发动，我军拟以待其进攻再打为有利。”31日，毛泽东又就在鲁南歼敌问题致电陈粟：“蒋介石企图于三月莫斯科三国外长会议以前击败我军。据南京消息，蒋军日内即将进攻，似此甚有利于我在野战中大量歼敌。我军方针似宜诱敌深人，不但不先打陇海路，即敌至都马地区是否就打亦值得考虑，似宜待其进至都马以北发起全力歼击，可连续打数个大歼灭战，使自己处于完全主动地位，丝毫不陷于被动。”
但由于欧震集团采取平行推进的战术，使陈粟无从下手，陈粟决心用积极作战手段迫使国民党军改变战斗队形，而利于选择孤立之敌歼灭。2 月3 日，华东野战军令第3 纵队坚决遏阻国民党军中路进攻势头，而对左右两路放行。但左右路的国民党军见中路之敌攻不动，也都不前进了。
针对这种情况，毛泽东于2 月4 日来电告诉陈毅和粟裕：“敌愈深进愈好，我愈打得迟愈好；只要你们不求急效，并准备于必要时放弃临沂，则此次我必能胜利。目前敌人策略是诱我早日出击，将我扭打消耗后再稳固地进占临沂，你们切不可上当，必须等候敌进至郑城、临沂之中间地带，然后再打第一仗方为上策。”
毛泽东的指示大大启发了陈粟，一个大胆的设想出现了。
陈粟设想既然南线之敌重兵密集，不易分割，而北线敌人则孤军深人，威胁华东后方，华东野战军何不改变原定计划，置南线之国民党军重兵集团于不顾，而以主力隐蔽北上，歼灭南下之李仙洲集团。二月5 日，陈粟把这一设想报给中共中央军委和毛泽东。同时，还提出了另外两套方案供中共中央军委毛泽东主席选择（因为在此前毛泽东始终在运筹南线歼敌事）：第一套方案：“以韦国清纵队进攻白塔埠附近，威胁海州，以吸引整编第25师东援，或第74师、第83师、第11师等部之北进，而后集全力首先歼灭其好打的一路。”
第工套方案：“如执行第一方案仍未能吸SI敌人前进，则除以一个纵队驻临沂以南监视敌人外，主力均集结至临沂以北地区休整，待敌北进，再选歼灭机会；”
第三套方案：“如南线敌仍不北进，或北进时不便歼灭，则除留一个纵队与敌纠缠外，其余主力急行军北上，彻底解决北线敌人。”
陈粟对第三套方案进行了倾向性的申述：“如执行第三方案，至少可以彻底解决北线敌人，利于我今后作战。”
就在这三套方案报请毛泽东批准的时候，陈毅、粟裕还是希望以作战行动调动国民党军，以在南线寻找战机。2 月6 日晚，华东野战军以第2 纵队韦国清部发起讨伐郝鹏举的战役，战至7 日下午即胜利结束战斗。郝鹏举这个汉奸得到了人民应有的惩罚。尽管如此，薛岳各路北进大军仍无动于衷，继续以稳扎稳打办法向北平行推进。
就在讨郝战役发起之时，毛泽东回电批准了陈毅北上歼敌的第三方案，并于2 月6 日致华东战略区领导人的电报中称：“完全同意微末电第三方案，这可使我完全立于主动地位，使蒋介石完全陷于被动。”毛泽东还就作战部署提出了重要的建议：“一星期至十天内，全军在原地整训，对外装做打南面的模样，待敌十二军占领莱芜，七十三军及四十六师占领新泰。博山之线，然后秘密移动全军，首先歼灭七十三军、十二军及四十六师，然后攻占胶济全线，时间一个月至一个半月。此时南面之敌必已被动地深人临沂以北的山地，我可全军回击，大批歼敌。总之，先打弱敌，后打强敌，力争主动，避免被动。”
陈粟决心执行经毛泽东批准的第三套方案，以第1 、第4 、第6 、第7 、第8 纵队于2 月10日，由临沂地区分3 路兼程隐蔽北上；令在胶东整编的第9 纵队和在渤海的第10纵队同时向莱芜地区开进，各部务于2 月16日到达指定地区。以野战军参谋长陈士荣指挥第3 纵队和讨郝北返的第2 纵队韦国清部以及野战军总部特务团、骑兵团和鲁南军区第10师共18个团伪装野战军主力，在临沂以南采取宽大机动防御，迟滞国民党军南线集团。此外，还部署地方武装在运河上架桥，造成华东野战军正向运河以西撤退的假象。
莱芜战役的部署已经完成，只等战役打响了。
此时，沿胶济路南下的北线之国民党军李仙洲集团已在陈诚的一再催促下，呈孤军深入鲁中山区之不利态势，继进占莱芜、颜庄之后，于2 月8 日进占新泰。
就在同时，陈毅、粟裕指挥的华东解放军10多万大军，重走马陵古道，冒雪兼程北上，计划于16日进至莱芜周围地区集结。
而南线的国民党军于2 月15日顺利占领临沂这座空城，蒋介石对此大吹大擂。他在庐山军官训练团上对听训的军官称：“此次鲁南会战已在临沂外围取得歼灭共军十六个旅的伟大胜利，陈毅匪部伤亡巨大，不堪再战，已逃窜至黄河以北。我国军攻克临沂以后，陇海路两侧军事暂时可以告一段落，以后的问题都在黄河以北了，剿匪军事最困难的阶段已经过去了。”断言在半年之内可以肃清“共匪”、“统一中国”。
而被部下吹嘘的“胜利”冲昏了头脑的陈诚，同时向南北两线的国民党军下达了总攻击令，称：“陈毅、刘伯承两部已开始总退却，将由东阿、范县间北渡黄河。命李仙洲部固守新泰并派出部队分向蒙阴、白马关、大汉口方向侧击。”17日，李仙洲接王耀武命令火速南下，与南线合击正在逃跑中的陈粟“匪部”。
然而，陈粟大军此时已神不知鬼不觉地完成了战役准备，于2 月19日以7 个纵队共60多个团的兵力，将在莱芜东西地区的李仙洲集团四面包围起来。直到此时，陈诚、薛岳才明白陈粟大军的去向，遂下令李仙洲集团即回缩莱芜，企图摆脱被歼的命运。但只有李仙洲知道，为时已晚。
20日，陈粟大军从四面八方开始发起对李集团的攻击。战至23日，一举歼灭国民党军第46、第73两个军6 个师及第12军1 个师共7 个师（旅）5.6 万余人，活捉第二绥靖区中将副司令官李仙洲和中将军长韩浚，粉碎了国民党军队准备在山东战场上南北夹击华东野战军主力的计划。
2 月23日上午，蒋介石闻济南绥靖区司令王耀武部队行至莱芜至吐丝口镇中间地区遭人民解放军围攻时，遂令空军副总司令王叔铭指挥空军集中火力轰炸解放军，掩护北撤部队至指定地点。王叔铭接电后，立即搭机亲临山东查看。一直等候前线来电的蒋介石终于在当日下午二时，接到了王叔铭自济南打来的长途电话。
王称：“报告委座，我刚从莱芜、吐丝口镇一带上空侦察归来，没有见到地面战斗。”
蒋介石迫不及待地问：“你看清楚了吗？”
王答：“看清楚了，地面的确没有战斗。”
蒋介石又说：“你再派飞机去看看还有什么情形。”
听到王叔铭的报告，蒋介石预感到大事不妙，当即驱车前往南京郊外的飞机场，专机飞济南。他一下飞机就在机场听取了王耀武关于莱芜部队被歼击的经过及济南防务的安排。晚上单独召见王耀武，大骂王无能：“你们只是在莱芜这个战役里就损失了两个军零一个师，损失了这样多的轻重武器，增加了敌人的力量，这仗以后就更不好打了。这样的失败真是耻辱，……济南无论在军事、政治、地理上都是很重要的，如出意外，你要负责。”“济南是战略要地，必须固守，东南两面地形复杂，易于接近，防御重点应放在东南方面，并确保千佛山。为了使阵地与兵力相结合，须缩短阵地，重点部署，应催12军迅速集中济南。对于民众组训必须加强，以增作战力量。”
陈粟大军在莱芜战场上的确打痛了蒋介石，也打醒了蒋介石。1947年4 月20日，蒋介石又到军官训练团和绥区各级行政干部训练班讲话。他在讲话中大骂“国军”，“徒怀对匪恐惧心理，没有驰援的勇气。莱芜至吐丝口距离不过15公里，整个一个军兵力亦不敢单独赴援，必要两军并列才行，最后结果覆灭。这证明各将领怕匪，无勇气，无决心，则兵愈多，失败愈大愈快的一个铁证。”