就在刘峙在徐州庆祝所谓“徐东大捷”时，在周家的华东野战军司令部，粟裕指挥部队已基本上肃清了碾庄圩外围的据点，黄百韬的末日已经来临了。
11月15日，华东野战军攻击集团暂停对黄百韬兵团攻击，调整部署、调整火力，并进行迫近作业。16日，谭震林。王建安下达对黄百韬兵团攻击命令。当晚，各纵在80门大口径火炮编成的三个炮兵群支援下，以碾庄以南、以西各村落为目标发起猛攻。
我军改变打法后，立即从黄百韬手中夺取了好几个村庄，碾庄圩外围的阵地，一时出现险情。黄百韬见状，十分惊慌，连忙向顾祝同求救。
顾祝同为此特地派了一个空军科长，驾机空投陆空通信电台一座，因飞机发生故障，这位科长就随电台跳伞了。从此敌阵地情况危急时，空军立即派飞机轰炸；空中情况危急时，地面立即应援。黄百韬依靠此举，一时遏制了我军的攻势。
面对这种情形，顾祝同、刘峙竟大吹大擂，宣传碾庄大捷，说什么解放军实行“人海战术”也无济于事，不得不溃退，碾庄圩阵地前伏尸遍野，血流成河。南京的何应钦闻讯拍案惊呼：“黄百韬真是英雄！”立即派飞机送勋章给黄百韬。
就在国民党军为黄百韬大吹大擂之时，黄百韬兵团的处境愈来愈不妙了。
11月17日，视黄百韬为心腹的顾祝同乘飞机飞往碾庄上空，用地空联络电台同黄百韬直接通话，不得不告知黄百韬：“好自为之吧！”
11月18日，碾庄历历在目。
为扫清碾庄外围，粟裕第一次动用了他的坦克部队。
国民党军队根本想不到共产党军队会有坦克，看见几十辆坦克威武地开过来，竟一起跳出掩体哇哇地大喊大叫，欢呼雀跃，他们以为是邱清泉的援兵到了。
谁知这些坦克驶近阵地时突然开火，机枪一齐扫过来，在这些国民党军队的官兵还迷迷怔怔地不知所措之时，就一排排如收割的麦子刷刷地倒下了。这些坦克是济南战役中缴获的，属日本血统，资格很老了，大部分没有炮，只有机枪。步兵被地堡内的火力阻击时，坦克便驮着爆炸手开到敌人地堡跟前，让爆炸手不慌不忙地下来放炸药包，将敌人的地堡一个个炸开了花。
至11月19日，黄百韬兵团第100 军和第44军被全歼，第25军和第64军也被歼灭一半。黄百韬兵团只剩大约8 个团的兵力，据守在碾庄及东北两面约六平方公里的七个村庄里。
黄百韬兵团剩下的部队分属于第64、25军，战斗力都比较强，其中第64军为粤系军队，第25军是黄百韬的基本部队。
碾庄周围设有两道迂墙和水壕，分为外圩和内圩，两圩之间相隔百米，其间布满地堡群，外圩水壕宽达二三十米，深一二米。整个碾庄圩成了一个兵挨兵、工事挨工事的堡垒。
为一举歼灭碾庄敌人，粟裕等以攻歼碾庄圩守敌为目的，再次调整了部署；第8 、9 纵从东南和正南方向担任主攻；第4 纵由北面进攻，第6 纵在坦克配合下从西进攻。
11月19日上午10时，随着粟裕一声总攻碾庄圩命令的下达，整个黄淮平原颤动起来了。
粟裕命令对碾庄地区实施长达30分钟的炮火急袭。
这一天，黄百韬也命令他的炮兵对解放军发射完它的全部炮弹，并呼叫了空军作战飞机投放轰炸。30分钟的炮击，碾庄落下了数万发炮弹，将这座曾有Zbo 余户人家的村庄夷为平地，只有几堵幸存的高墙如同沉重的破帆，在黑烟中晃动。
攻击开始，守敌负隅顽抗，圩墙下的机枪和圩后的大炮构成一道道火墙，挡住华东野战军攻击部队。指战员们冒着浓烟烈火向前冲击，脱下棉衣涉过结着冰凌的水壕，搭起人梯爬上圩墙。夜空中，红色弹道如同无数飞舞的火龙，冲向碾庄圩。碾庄变成一片火海。
11月20日清晨，红旗插上黄百韬兵团司令部，碾庄圩被解放军攻占了。敌第25军残部4000余人逃到碾庄圩北面尤家湖村。黄百韬本人率领1000余人逃到碾庄圩东面大院第64军阵地，进行最后挣扎。
11月21日晚，谭震林、王建安指挥的攻坚部队向黄百韬发动了总攻。40分钟的炮火准备之后，在华东特纵的坦克部队的引导下，陶勇率华野第4 纵从北面、王必成率第6 纵从西面、张仁初率第8 纵从东南面、聂凤智率第9 纵从正南面对碾庄圩之敌发动了猛烈的攻击。华东野战军主攻集团以第9 纵攻击第64军军部大院上村；第8 纵攻击大院上东边的小院上村；第4 纵攻击尤家湖村。当晚，各部发起攻击，激战一夜，于22日清晨先后攻占大小院上和尤家湖。
黄百韬率残部第25、64军各一个师，龟缩在三里庄、沙墩等几个小村庄，一面继续挣扎，一面急电蒋介石、杜聿明请求支援。
蒋介石命令杜聿明不惜一切增援黄百韬，为其解围；他也向所有的增援部队下了一道死命令，要求不惜一切代价，进行全线出击，救出黄百韬。
然而，此时经过一个星期的恶战，遭到沉重打击的邱、李兵团已经丧失了锐气。邱、李这两个行伍出身的将领，凭着多年与我军作战的经验，感到突破人民解放军的阻击阵地已是不可能的了，东援已经无望了。如果继续亡命东进，很有可能像黄百韬一样落入人民解放军的手中，难逃覆灭的厄远。因此，邱、李虽然也指挥部队向前乱冲，但是他们的后腿和尾巴始终不肯离开徐州，主力也不敢离徐州太远，以防后路被断，他们的增援是有限的，决不敢像杜聿明所要求的那样全力以赴。
在增援彻底无望的情况下，黄百韬立即命令第64军军长刘镇湘率残部向碾庄圩西北方向突围。就在这时，人民解放军又向第64军发起了攻击。
敌军的突围被粉碎了，黄百韬逃到一个茅棚里躲了起来。不久，解放军的喊杀声由远而近，“活捉黄百韬”的呼声震天动地。黄百韬在彻底绝望中举枪自杀身亡。
战至下午4 时，四散突围的敌人被全部歼灭。
这一仗，华东野战军在中原野战军的有力支援下，斩去了国民党军徐州集团的右臂，全歼黄百韬兵团5 个军10万余人。
蒋介石眼看着黄百韬全军覆没，无可奈何，只有哀叹。他在11月25日给刘峙、杜聿明的电报中说：“查此次徐州会战，我东进各兵团行动迟缓，未能彻底奉行命令，致陷友军于覆灭，实有失军人武德。”“此次作战共消耗各种炮弹12万余发，而我军每日进展尚不及一公里，如此消耗浪费，不计成效，亦我革命军人之奇耻大辱。”
碾庄战斗结束后，华东野战军司令部里灯火通明，粟裕与谭震林等一起总结歼黄作战经验教训，大家的心情既兴奋又沉重，因为几个主要方向的纵队伤亡人数都在Zop 人以上，有的竟达5000余人。
“这一条经验非常重要，是我们用生命和鲜血换来的。”粟裕用一个手指点着桌子说，“在江淮平原作战，由运动战转人攻坚战的时候，不可急于求成，而应加强堑壕作业，隐蔽接近敌人，将堑壕挖到敌人跟前再发起攻击，逐点争夺，逐个消灭。”
会议结束后，粟裕将大衣一裹，走出作战室，消失在夜雾里。后来，已是共和国大将的粟裕，在和他的妻子楚青谈起淮海战役时说，解放战争他紧张过两次，第一次就是围歼黄百韬兵团，“上至中央军委，包括毛主席，下至我们，开始对黄百韬兵团的战斗力估计不足啊！后来我们碰了钉子，可又不敢向主席叫苦，只有豁出来打。主席天天来电催问战况，我心里很急。部队打得很苦啊……”