黄百韬兵团西逃的计划彻底破产，只得在碾庄地区负隅顽抗。
以碾庄为中心的地区，位于运河以西，陇海路两侧，只有十几个村庄。国民党第7 兵团退到此地区，迅速筑成了以地堡群为骨干，并有纵横交错的堑壕、交通壕的环形阵地，每村有独立的火力支撑点，村与村形成兵力、火力相互支援。黄百韬将兵团部设在碾庄，所属之第64、44、100 、25军分驻在东。南、西、北四侧。
自11月11日起，华东野战军担任围歼黄百韬兵团的各纵队从四面八方向敌开展猛攻。由于准备不足，炮火未能及时跟上，以致连续攻击三天，进展缓慢。
毛泽东已经预料到蒋介石要派兵增援黄百韬，并在战役发起前指示华野用一半以上兵力阻援、打援。
遵照毛泽东的指示，粟裕对阻援打援作了周密部署。11月11日晚，担任正面阻击的第7 、10、11纵队进至预定位置，并利用河流、村庄、山坡等有利地形构筑工事。12日，阻击部队同邱清泉、李弥兵团展开激战。
蒋介石坐在南京心急火燎地算计着邱、李兵团的进度。第二天，他又电令刘峙、杜聿明，督促他们倾全军东援，星夜挺进，务于当夜到达碾庄附近解围，免误大局。他还电告黄百韬：“已令杜、邱星夜向东挺进，务于本夜到达碾庄，夹击共军，希激励官兵，鼓起最后五分钟之革命精神，坚守待援。”看起来整个部署非常周密。
同一天，邱、李兵团向东推进三至六公里。对此速度，杜聿明和邱清泉都感乐观。邱清泉甚至电告黄百韬：“能于一二日内盼与兄部会师。”
但是，邱清泉兵团同空军协调出了问题，双方互相指责，闹得一塌糊涂，致使邱兵团几乎没有进展。
在南京的蒋介石又按捺不住了，再次电令刘峙、杜聿明：“黄兵团陷于苦战，我军胜败决定于最后五分钟，徐州方面应尽量减少守备部队，彻底集中兵力向东挺进，击灭共军，求得最后胜利。”
华东野战军方面攻击集团也遇到了困难。各纵队歼敌心切，先到先打，由猛烈追击仓促转人攻坚，炮兵大部又未能及时跟上，缺乏火力支援，致使攻击部队每攻击一处均要经过五次以上反复争夺，结果连攻三日，伤亡较大，进展缓慢。
14日晚，粟裕、陈士荣、张震在华野司令部周家召集攻击集团指挥员开会，重新调整部署，提出以先打弱敌，后打强敌，攻其首脑，乱其部署的战法，采取攻坚手段，发挥夜战特长，利用近迫作战接近敌人，插入各村之部，进行逐点夺取，逐个歼灭。攻击集团的第4 、6 、8 、9 、13等五个纵队统由山东兵团谭震林、王建安指挥。
同时，为了加强攻坚力量，华野又将有很强火力的特纵分置四面，配合各攻坚部队对碾庄发动攻击。
面对黄百韬的顽强抵抗。面对中野部队西阻黄维、南抗李延年的艰难处境，粟裕的心情是可想而知的。但他仍坚定地按照11月14日夜决定的战术原则，层层剥皮，进逼碾庄。
华东野战军对黄百韬兵团加紧攻击，可急坏了蒋介石。他立即催促邱、李两兵团加紧东进，解救黄百韬。在徐州东北面约25里的铜山和郊县之间有一条公路，是徐州通往碾庄圩的必经之路。敌军要增援黄百韬必须从此经过，我军要阻敌援军也必须控制这一通道。就在这一通道上，有一座高150 米叫寺山的小山，守山口成了控制公路的咽喉。
在这里，李弥兵团第8 军动用了两个团的兵力，在六辆坦克的掩护下，向守山口发动了凶猛的攻击。第10纵第28师一个营的兵力在光秃秃的山梁上，在岩石缝中顽强阻击敌人。他们放过国民党军坦克，专门射击随坦克跟进的步兵，打退敌军数次冲锋。激战两天，在寺山的山坡上，国民党军尸横遍地，血流成河。李弥兵团在寺山被阻两天，没有前进一步。
就这样，虽然损失惨重，但在蒋介石的督促下，邱、李两兵团还是拼着血本向前推进。为了解救黄百韬，邱、李两兵团先后发动了数百次的冲锋，在付出重大伤亡的前提下，平均每天只能向前推进三四公里。敌军的进攻连连受挫。
就这样，杜聿明一直在督令邱清泉、李弥兵团东援，蒋介石也三番五次地发出电令，邱、李兵团东援的出发地距碾庄不过十多公里路，炮声相闻。但是，无论邱、李兵团怎样疯狂进攻，始终不能突破华东野战军的层层阻击，只好眼望着黄兵团一点点被吃掉。一向气势很盛的邱清泉曾经不无沮丧地电告黄百韬：“弟部连日猛攻，匪顽抗异常，每村每山匪均死守。甚盼兄部向西出击，在曹八集附近会师。”
东援之军没有任何进展，急得蒋介石在南京直骂娘。他一面电斥邱清泉说：“共军不过两三个纵队（实际上有七八个纵队），为什么两个兵团还打不动？”一面派顾祝同、郭汝瑰飞往徐州督战。
顾祝同一到徐州，立即召见了刘峙和杜聿明。顾祝同说：“光亭，老头子派我们来，是要我们督促尽快攻打碾庄圩，救出黄百韬。”
郭汝瑰埋怨进展太慢。显得十分疲劳的杜聿明叹了口气说：“打仗不是纸上谈兵，画一个箭头就可以到达。况且敌人已先我占领阵地，兵力也在陆续增加，究竟有多少，我也未搞清。战斗十分艰难，每一个村落据点，都得经过反复争夺，死伤数百人甚至上千人，才能夺取，难啊！”说完把头深深地埋了下去。
几个人一面议论，一面发牢骚，最后也没有想出一个万全之策，只是让黄百韬坚守。顾祝同对杜聿明说：“光亭，你务必严令邱、李加紧攻击。”
在顾祝同的督促下，邱清泉、李弥、孙元良全力驱动国民党士兵向解放军阵地上发动疯狂进攻。
不料，邱清泉将其主力第74军投进去，全军溃败，陷入解放军的重围。
邱清泉请求杜聿明速派总预备队第72军前来增援，该部也为解放军所牵制。在万般无奈的情况下，邱清泉只好将身边仅有的一点预备队和几辆坦克、重炮调上去，才使第74军免遭全歼之灾。
邱、李增援十分缓慢，黄百韬的情形又十分危急，一日数电请求加快增援。杜章明在万般无奈中，对邱、李下了死命令，要求他们必须在两天内突破解放军阵地，与黄百韬接近。
第二天清晨，邱、李两兵团在空、炮、战车火力的掩护下，再次向我军阵地发起疯狂的进攻。上午9 时前后，邱、李发现张楼、房村的解放军已经后撤。午后，邱、李兵团进占大许家解放军阵地前沿，离碾庄圩只有10多公里了，邱、李两人立即向徐州“剿总”发电，报告了这一战绩。在徐州的刘峙得知这一消息后，欣喜若狂，高兴地说：“这回对得起总裁了！”
在南京的蒋介石得知这一消息后也高兴得手舞足蹈，命人组织力量大肆宣传，同时派出代表团、慰问团，携带大批勋章、奖章和白银前往徐州犒劳三军。刘峙则下令徐州燃放鞭炮。
其实，这是真正的虚假胜利。原来，为了减少伤亡，同时也为了吸引邱、李兵团东进，便于苏北兵团直插徐州和东援之敌之间，切断东援之敌的后路，为下一阶段歼灭东援的邱、李兵团奠定基础，总前委命令在徐东担任阻击任务的部队，在基本上完成阻敌东援、保证包围碾庄圩的部队有充足的时间消灭黄百韬兵团的前提下，主动撤出大庙阵地，退至大许家一线，放东援之敌前进一步。