矶谷滕县被阻3昼夜，兵力受到较大消耗。几日休整后，见板垣的第5师团仍被中国军队阻在临沂东北，便不耐烦地下令向目的地台儿庄进发。他想孤军拿下台儿庄，在那里等着板垣的到来，好看这个机械化师团指挥官的笑话。
矶谷轻狂孤傲，滕县受创并没能真正打醒他，他骨子里对中国军队的轻视太根深蒂固了，这使他迈出了日后大败台儿庄的第一步。
3月23日，集中在峄县的矶谷师团千余人，在重炮10门，战车8辆的掩护下，向台儿庄发起进攻。由于王铭章死守滕县，为李宗仁赢得了近一周的时间。至23日，孙连仲第2集团军池峰城第31师附炮兵1营已奉命在台儿庄运河北岸设防，构筑工事，实行阵地固守，御敌南下。结果这股骄狂突进之敌被守军猛打痛击之后，剩残敌300余人窜向北洛。
24日，日军援兵开到后，遂开始猛烈炮轰中国军阵地及防御工事，战斗激烈时，第2集团军阵地每日落炮弹达六七千枚之多。炮轰之后，日军以坦克为前导，向台儿庄守军阵地猛冲。将我台儿庄外围阵地工事摧毁后，敌步兵乃跃入据守，步步向前推进。台儿庄一带，耕地之下盛产石块，居民叠石为墙，每一住宅就是一堡垒。这种石墙被敌人冲入占据之后，中国军因无平射炮，又无坦克，无法反攻。但守军以血肉之躯与敌方烟火、坦克相搏斗，至死不退。敌人猛攻3昼夜，才冲入台儿庄城内，与守军发生激烈巷战。第2集团军至此巳伤亡过半，渐有不支之势。关键之际，战区司令长官李宗仁严令孙总司令死守待援。自27日起，敌我遂在台儿庄寨内作拉锯战，战况异常惨烈。
3月27日，日军在9辆战车的掩护下，猛攻台儿庄，突破北门，占领东北角。中国战防炮大显神威，击毁敌战车6辆。从28日起，敌我在台儿庄、刘家湖附近激战。日军飞机、大炮昼夜轰炸，台儿庄车站、煤厂变成一片废墟。第2集团军与日军进行近战、肉搏战，使其战车、大炮失去威力，打退日军无数次进攻。当晚，日军300余人由城西破口冲入西北角，联合该处顽抗之敌向中国军队突击，但遭到中国守军炮击，并经池峰城师一部反击。战至深夜，入侵之敌大部被消灭，残敌退据大庙死守。池师亦死伤500余人。
当战事激烈之时，蒋介石偕副总参谋长白崇禧亲到台儿庄，召见将士，指示事宜，鼓励杀敌。蒋说：“日军有‘不可战胜’之神话，望我军将士奋威，打破这个神话！且见今日事态，只要我军有最后5分钟之坚，则此神话必破无疑！”
艰难时刻，最高统帅蒋介石亲赴前线，鼓舞了5战区官兵的士气。临返回时，他特意把“小诸葛”白崇禧留在了徐州，协助李宗仁指挥作战。
日军此时后退无路，便只有一拼到底。4月1日集中机械化部队3000人攻打兰陵一带，以求突破外线。汤恩伯指挥第20军团的两个军向敌发动猛攻，对日军占领的村子，全部用机枪封住村口，再放大火，汤称此为“堵洞灭鼠”之法，一时间，将刘庄、马庄、柿林园等村里的日军杀个干净。到4月2日，这一带的日军已自见败势，进攻受挫，后退无路，中国军队四面合圈，喊声震天，众日军纷纷举枪打死马匹，作垂死之战，不时有人以利刃切腹自杀。不知为什么，汤恩伯在外围杀得性起。偏偏忘了最大的猎物，台儿庄内的矶谷师团主力。
台儿庄方面，29日战事最激烈。池峰城师对庄内日军实行反攻，一支72人的突击队，在迫击炮掩护下，攻击文昌阁，将盘踞其内的日军尽数聚歼。黄樵松师则对台儿庄北面之日军实施反击，攻克了邵庄、园上、孟庄、击毁敌坦克两辆。陈金照师向南洛、三里庄挺进，截断日军后路，并给日军增援部队以重创。濑谷旅团长急令赤峰联队驰援台儿庄，并亲赴前线督线。敌在援军到达后，大举反攻，又夺取台儿庄东半部，在庄内与池师相持。30日上午，第31师由副师长康法如率军向西北角日军反攻与敌肉搏数小时，31师阵亡300余，敌仍据东南半部、西北角顽抗。同时，黄师亦被迫撤回运河南岸。日军企图从顿庄闸附近渡河，由西边包抄台儿庄，但被击退。
4月1日，黄樵松第27师800余人攀登寨墙突入东北角，袭击日军。敌仓惶失措，被击毙甚众，中国军队占领东北隅及东门以北几座碉楼。2日夜，池师250人组成奋勇队突入庄西北角进行夜袭，日军仓促应战，被歼甚多，中国军队夺回西北角。双方在庄内展开激烈争夺，但由于日军板本支队加入战斗，第2集团军伤亡又重达7000余人，因而陷入苦战。小小的台儿庄里里外外，双方伤亡愈万人，已是尸积如山血流成河。随便抓起一把脚下的焦土，就能扒拉出几块弹片甚至碎肉。
战至4月3日，火力占极大优势的日军步步推进，31师师长池峰城将军已记不清组织几批敢死队出击了，他只记得每次出击，数百人的敢死队回来不了几个人。这时全庄三分之二已为日军占踞，日方电台甚至已宣布将台儿庄全部占领。池峰城觉得再拼下去，31师将全军覆没，便向老长官孙连仲司令请示，可否转移阵地，暂时撤到运河南岸。
孙连仲实在没法拒绝池峰城。一师之众已在一个小小的台儿庄与日军重兵血战8昼夜，对这样一支部队他还能说什么呢？何况31师是第2集团军的王牌，这样个消耗法不是等于在拿刀剜他的心头肉，他心疼啊！
电话打到了徐州长官部。参谋处长黎行恕深感事大，不敢作主，乃请示参谋长徐祖贻。徐祖贻将军更是认识到事关全局，便及时通报给李宗仁。
长官部里，李宗仁上将如热锅上的蚂蚁，坐卧不宁。最初他是利用日军骄狂轻敌的心理，在台儿庄设下圈套，让孙连仲把矶谷缠住，往口袋里拖。待台儿庄守军把日军消耗得差不多时，再让中央军骄子汤恩伯集团秘密南下，从日军背后发起攻击，扎住口袋，把矶谷师团吃掉。
孙连仲部池峰城师已伤亡七成，把矶谷消耗得精疲力竭了，但这时负责扎袋口的汤恩伯集团却跟他捣起蛋来。李宗仁虽三令五申命汤部火速南下，夹击敌军，但汤恩伯推三阻四，仍在姑婆山逡巡不前。如果汤部不能及时赶到，孙连仲集团付出的重大牺牲将无意义不说，矶谷师团用不了多久便能喘过气来，直捣徐州，那整个鲁南会战将惨败，武汉也势必难保，中国抗战将一片黑暗。
这时，他不得不求助武汉那个把他推上油锅的大人物。蒋介石从全局出发，也急切希望李宗仁能阻住强敌，使武汉有时间布防。李宗仁虽然费了些口舌，但好赖领到了对抗战不利者可“先斩后奏”的上方宝剑。
4月2日，已失去耐心的李宗仁在仍未得到明确答复的情况下，对汤恩伯训斥道：我已受武汉之命，如有所属再不听军令，致误战机，当照韩复榘的前例严办。汤恩伯受到震慑，这才答应全师南下。李宗仁预计汤军团于4月4日可进至台儿庄北部，因此命令参谋处告孙连仲集团，必须死守，决不许后撤。
没多久，孙连仲又来了电话，要求与李长官说话。李宗仁接过听筒，听孙连仲总司令说道：“报告长官，第2集团军已伤亡十分之七，敌人火力太强，攻势过猛，但是我们把敌人也消耗得差不多了。可否请长官答应暂时撤退到运河南岸，好让第2集团军留点种子，这也是长官的大恩大德！”
李宗仁早与张自忠等一些西北军将领有过接触，深知这些西北汉子忠厚老实。若非不得已，孙连仲话绝不会说得如此哀婉。但他预算汤恩伯军团明日中午可至台儿庄北部，第2集团军如于此时放弃台儿庄，岂不功亏一篑，因此对孙连仲说：“敌我在台儿庄已血战一周，胜负之数决定于最后5分钟。援军明日中午可到，我本人也将于明晨亲来台儿庄督战。你务必守至明天拂晓。这是我的命令，如违抗命令，当军法从事。”
孙连仲和李宗仁，仅在孙奉调来5战区增援时，在徐州有一面之缘。此时李向他下这样严厉的命令，内心也很觉难过，但是李宗仁深知不这样，便不能转败为胜。
孙连仲见长官已铁了心，态度如此坚决，便说：“好罢，长官，我绝对服从命令，整个集团军打完为止！”
在电话中，李宗仁进一步指示说，第2集团军不但要守到明日拂晓之后，今夜还须向敌夜袭，以打破敌军明晨拂晓攻击的计划，则汤军团于明日中午到达后，我们便可对敌人实行内外夹击！
孙连仲一听，全军不但不能后退，精疲力竭之际还要乘夜反击，当下诉苦道：预备队已全部用完，夜袭甚为不易。
李宗仁说：“我现在悬赏10万元，你将后方凡可拿枪的士兵、担架兵、炊事兵与前线士兵一齐集合起来，组织一敢死队，实行夜袭。这10万块钱将来按人平分。重赏之下，必有勇夫，你好自为之。胜负之数，在此一举！”
孙连仲叹口气复命道：“服从长官命令，绝对照办！”
扔下电话后。孙连仲来到台儿庄亲自督战，死守最后一点的池峰城师长，又来电向他请求准予撤退。孙连仲命令道：“士兵打完了你就自己上前填进去。你填过了，我就来填进去。有谁敢退过运河者，杀无赦！”
池峰城闻言愣住了。31师所剩不多的官兵们惊呆了。但池师一向军纪严明，此刻，从师长至下级士兵，深知军令不可违，乃以必死决心，逐屋抵抗，任凭敌人如何冲杀，也死守不退。
幸运的是，到黄昏，精疲力竭的敌人停止进攻。及至午夜，我军先锋敢死队数百人，分组向敌反冲击，杀人敌阵。敢死队人自为战，奋勇异常，部分官兵手持大刀，向敌砍杀。敌军血战近10日，已筋疲力竭。想不到战至此最后5分钟，中国军还有力气乘夜出击。敌军仓皇应战，乱作一团。血战数日为敌所占领的台儿庄市街，竟为池师敢死队一举夺回四分之三，毙敌无数。敌军退守北门，与我军激战通宵。
午夜时分，5战区长官部忽然得报，汤军团已向台儿庄以北迫近，天明可到。午夜以后，亢奋不已的李宗仁大睁着布满血丝的双眼，率随员40多人，搭车到台儿庄郊外，亲自指挥对矶谷师团的濑谷、板本两旅团的歼灭战。
黎明，天渐渐亮了，这时台儿庄北面炮声越来越密，汤团已在敌后出现，敌军撤退不及，陷入重围。李宗仁身着上将戎装，精神焕发地亲自指挥台儿庄一带守军全线出击。台儿庄内外几十里，一时杀声震天。敌军血战多日，此刻已成强弩之末，弹药汽油用完，机动车辆多被击毁，其余也因缺乏汽油而陷于瘫痪。面对中国大军的内外夹击，日军胆魂俱飞，狼狈突围逃窜，溃不成军，中国军队大获全胜，士气极旺，全军向敌猛追，如疾风扫落叶，锐不可当。日军遗尸遍野，被击毁的各种车辆、弹药、马匹遍地皆是。矶谷师团长率残敌万余人突围窜往峄县，闭城死守，已无丝毫反攻能力。台儿庄之战至此以中国军全胜之局结束。
台儿庄会战3月23日开始，4月7日结束，歼敌第5、第10两个精锐师团大部万余人，中国军队伤亡近两万人，取得了抗战以来军事上的重大胜利，打破了日军不可战胜的神话。
武汉，蒋介石长长地舒了口气。