宿北战役的胜利，给进攻华东解放区的国民党军四路中的一路以歼灭性打击，迟滞了另外三路国民党军的进攻。但就总的态势看，还只是把敌人的半包围圈打开了一个并不很大的缺口。国民党军徐州绥靖公署主任薛岳在整编第69师被歼后，不仅没有丝毫退避之意，反而令向鲁南腹地进攻的这一路国民党军加速前进。而拥有“天下第一快速纵队”的整编第26师师长马励武中将更是得意忘形，自认为有铁甲利器，“共军能奈我何。”
由此看来，华东解放军虽然在宿北打了一个漂亮的歼灭战，顿挫了国民党军的锐气，只是扭转战局的开始，要彻底摆脱战略上的被动局面，还必须给国民党军一次更大的歼灭性打击才有可能。
当陈粟大军还在宿北战役中大显身手时，毛泽东又开始筹划新的作战。他在12月18日致陈粟并告张、邓、张、黎的电报中提出：“第二步作战，似应集中主力歼灭鲁南之敌，并相机收复枣峰台，使鲁南获得巩固，然后无顾虑地向南发展，逐步收复苏北、苏中一切失地。究应如何，望按实情处理。”
毛泽东所以如此考虑，主要是因为担心鲁南之敌有威胁陈粟大军后方之忧。国民党军在宿迁地区遭歼后的行动，证实了毛泽东的担心。徐州绥署并未放弃其原定作战计划。就在其宿迁一路遭陈粟大军围攻时，其他三路并不理会，而是继续向前推进。其中：盐阜兵团在攻占盐城后，继续向阜宁进攻；沿淮涟之线进攻的一路在占领涟水后，沿六塘河南岸转人防御；向峰县和临沂进攻的一路，则占领了台枣以东的税郭、向城、卞庄、郊县、长城、兰陵、洪山镇等城镇，已经威胁到了陈粟大军的作战后方。
在这种情况下，可供陈粟选择的作战方案有三个：一是南下迎击正在北进的整编第74师等部；二是渡过运河，西出淮北，以调动运河以东的敌军回援运河以西，求歼援敌；三是回师歼击鲁南敌军，解除后顾之忧。12月19日中午，陈粟从情报部门得知薛岳严令国民党军整编第74师及桂系第7 军由涟水向北进攻，并于12月23日占领临沂。随即决定以主力南下歼击运动中的第74师。然而直到23日，敌人仍在原地不动。陈粟即放弃南下计划，决定按中共中央军委的指示回师鲁南，寻歼正向鲁南地区进攻的国民党军，并于12月24日将计划报告给了毛泽东。
25日，毛泽东回电同意陈粟歼敌计划，并指出：“鲁南战役关系全局，此战胜利即使苏北各城全失亦有办法恢复。你们必须集中第一、第六、第八、第四、第九、第十各师及一纵。警旅等部，并有必要部署准备时间，以期打一比宿北更大的歼灭战。第一仗似以打第二十六师三个旅适宜，因该敌系鲁南主力。该师被歼，全局好转，若先打冯部，则恐一时不能解决鲁南问题。”
陈粟认为，中共中央军委、毛泽东一再的指示，要在鲁南作战，使鲁南获得巩固，实际上是指出了在今后一定的时期内，山东将是华东的主要战场。如果继宿北战役后再在鲁南打一个大歼灭战，不仅能打破国民党军的战略包围，使山东、华中两路野战军完全会合，而且能为今后在山东作战创造良好的战场条件。鲁南巩固了，再行北上、南下、或西进，华东解放军都可取得行动的自由。如果分兵进入淮北，远离后方，不仅需要作好充分准备才能行动，而且不一定能调动进攻鲁南和苏北之国民党军回援。
陈毅、粟裕深深地佩服毛泽东的高瞻远瞩，当即下定决心，率两军主力回鲁南寻机歼击国民党军，打一个更大的歼灭战，扭转华东战局。陈毅、粟裕立即下令各部队置淮阴、涟水地区之国民党军于不顾，全部主力星夜北上，会同在鲁南的部队，进行鲁南战役。于是在1947年元旦来临之际，华东解放军冒着严寒，大踏步北上，沿途都受到了人民群众的热情迎送。淮北人民以黄桥烧饼送别亲人，而山东人民则以山东的煎饼迎接北上解放大军。
此时，向鲁南解放区进犯的国民党军仍停留在临沂西南地区。其部署是：整编第26师第169 旅配置于卞庄地区，第44旅置于太子堂，师部及第一快速纵队位于两步兵旅之间的马家庄、陈家桥、贾头地区；整编第51师主力位于枣庄、齐村及其附近地区，与整编第26师相距30公里；整编第33军之整编第77师和第59师分别位于四户镇和郊县及其附近地区，与整编第26师相距30多公里。
针对这种情况，陈粟原本打算先打弱敌——原西北军冯治安部之整编第59师，后来又决定歼灭整编第26师。并准备集中27个团的兵力，打国民党军整编第26师6 个团，兵力对比，华东解放军有近5 ：1 的优势。陈毅、粟裕认为，整编第26师虽为强敌，但它孤军突入，且与杂牌军冯治安部有矛盾。当整编第26师受攻击时，冯部很可能不会援助。消灭了整编第26师，华东战局将会发生重大转折。虽然弱敌冯治安易打好歼，但即使歼灭了它也不能改变华东战局。
陈粟打整编第26师的决心上报中共中央军委和毛泽东主席后，立即得到了毛泽东的批准。毛泽东代表中共中央军委给陈粟大军的回复是：“鲁南战役关系全局，此战胜利，即使苏北各城市全失，亦有办法恢复。……打一个比宿北更大的歼灭战。”
薛岳也在蒋介石不断的催促下，准备发动新一轮攻势。12月30日，薛岳又下达了“以继续击溃共匪陈毅主力于陇（海线）东（段）地区，再向鲁南追剿其残余之目的，应继续攻击东新安镇、沐阳、西新安镇（今新沂县）、郑城、马（码）头镇各点，进击陇东以北地区，再向鲁南进剿”。规定各路集团的任务是：“峰临兵团（由整编第26师师长马励武任司令官）之整26师附第1 快速纵队、第51、第20师，均在原防向临沂西南及临枣支线以北地区之共军积极扫荡，并确实掩护陇东兵团左侧之安全。整对师以一部由长城附近向马（码）头镇。那城之匪进剿；主力守备长城，并扫荡沂河两岸散匪。”同时。令陇东兵团（辖整编第64、第59、第70师）攻占新安镇后，向邻城、徐塘车站进攻；令淮沐兵团（辖整编第74师及第171 师）向沐阳进攻；令阜海兵团（辖整编第44、第25、第历、第83师）以一部守备阜宁地区，主力向南新安镇、白塔线进攻。企图将华东地区解放军主力歼灭于苏北，或赶到陇海路北，再集中全力与解放军决战。
薛岳的命令虽然下了，但受美国军事顾问团言传身教的各整编军将领却正在花天酒地地欢度圣诞节和元旦呢。当陈粟大军正悄然向整编第26师驻地开进之时，身为师长的马励武却在战事迫在眉睫之时，在峰县县城内欢度新年，参加当地士绅举行的各种庆祝活动和酒会。
相反，陈粟大军却打算过一个革命的元旦。为了便于临战指挥，陈毅和粟裕决定将参加部队分为左右两个纵队：右纵队以第8 师、第9 师、第10师、第4 师之第10团。滨海警备旅及鲁南军区特务团组成，由鲁中军区司令员王建安、政委向明、鲁南军区政委傅秋涛、副司令员郭化若统一指挥，其任务是攻占敌防御地区左翼诸山要点，切断敌向峰县。枣庄的退路，并阻击该敌增援。得手后，再攻向城，割裂整编第169 旅与第44旅的联系，歼灭傅山口、太子堂地区之第44旅。第三步则配合左纵队攻击整编第26师师部和第一快速纵队。
左纵队，以华中野战军第1 师，山东野战军第1 纵队组成，由野战军首长陈毅和粟裕直接指挥，担负歼灭第169 旅及第一快速纵队的任务，首先围歼卞庄之国民党军，同时切断整编第26师与整编第33军的联系，在右纵队配合下攻歼第169 师和第一快速纵队。
陈毅和粟裕下令，各部均应于1947年1 月1 日拂晓前进入指挥集结地域，战役发起时间为1 月2 日22时。
1 月1 日，陈粟大军的各员战将陶勇、叶飞、王建安、王必成等率部进入攻击出发阵地。1 月2 日晚22时，鲁南大地上空，3 发绿色信号弹划破夜空，这是陈粟野战军首长下达的战役发起的号令。
国民党军整编第26师，在毫无防备的情况下投入战斗。作为主要歼击对象的整编第26师，在战役发起后的第3 天即被全歼，“天下第一快速纵队”这支“国军精华”，除了有7 辆坦克逃往峰县外，其余全部被歼。后续作战直到1 月20日结束，又将整编第引师、整编第52师等部歼灭。整个战役共计歼国民党军两个整编师师部、4 个旅、l 个快速纵队另一个步兵团，共计5.3 万人；解放军伤亡8000，缴获了大批武器装备，包括坦克24辆、汽车470 台、各种火炮217 门。自国民党军进攻华东以来，备受毛泽东关注的整编第26师及快速纵队被歼灭，指挥这支王牌部队的中将师长马励武也被陈毅请进了他的司令部，还有整编第51师师长也作了陈毅的俘虏。
在俘虏整编第26师师长马励武的时候，还有一段非常精彩的故事。华东解放军在攻克峰城后，俘虏了大批国民党军。由于俘虏过多，没法押送，只得在他们放下武器后，命令他们自己到城东南角安全地带去集中。多数俘虏比较老实，自己去报到集中，但有一位穿着士兵破棉衣，胡子老长的老兵，连续逃跑了六次，但六次都被抓了回来。此人还口口声声讲：“我是苏北人，我家里上有八十多岁的老母，下有未成年的儿女，请解放军同志放我回家，我再也不当兵了，再不与人民为敌了……”可是后来经审查，此人就是国民党军整编第26师中将师长马励武。在整编师师部被攻占时，他脱下了中将服装，换上士兵的棉服和棉大衣，到处乱窜乱躲。被带到陈毅的野战指挥所后，马励武深有感慨地说：“我一个晚上被你们俘虏六次，陈先生确实布下了天罗地网啊！”
歼国民党军整编第26师及“第一快速纵队”后，陈毅登上了国民党军的一辆坦克，高翘二郎腿，威风八面地坐在炮塔上，留下了一帧战场实照，副司令员张鼎丞也坐在旁边。就在相机快门闪过之后，有着诗人素养的陈毅止不住诗兴大发，当即用他那韵味实足的四川腔，高声吟唱出了一首战斗诗：
快速部队走如飞，印缅归来自鼓吹。
鲁南泥泞行不得，坦克都成废铁堆。
快速部队今已矣，十六师汝当何为？
徐州薛岳掩面哭，南京蒋贼应泪垂。
对蒋介石来说，鲁南一战不仅仅是损失了一个快速纵队，更重要的是他的部队失去了作战的信心。在华东解放军发起对整编第26师进攻后，其右翼冯治安部之整编第77师见势不妙，其师长王长海即擅令先头部队自兰陵、小忠村一线后撤至洪山地区，即退出交战区。当整编第26师处在危急时刻，徐州绥署主任薛岳死令整编第77师增援。但该师师长因另有命令——保存实力，只派小部队到兰陵以西虚张声势，同时，谎称受解放军主力的迎头痛击，将部队迅速撤退到台峰公路以西。而驻枣庄地区有着半个中央系之称的整编第51师，也对薛岳的命令采取应付的态度，只派出小部兵力向东增援，一受阻击立即后撤，致使整编第26师及快速纵队孤立无援而被全歼。这一方面说明国民党军嫡系与杂牌军间的根深蒂固的矛盾，另一方面说明国民党军惧战、怕战、厌战情绪已开始上升。