日军津浦线主力南攻不成,遂改变策略,由少壮派军人板垣征四郎、矶谷廉介率2个师团企图会师台儿庄。日军一旦在台儿庄得手,便可策应津浦路南端日军攻势,一举拿下徐州。板垣、矶谷两师团,是日军精锐之师,此次进攻,来势相当凶猛,大有一举围歼中国军队之势。日军以七八万兵力,在华北方面第二军司令官西尾寿造指挥下,分两路向台儿庄进发。一路为板垣第5师团,沿胶济路西进,进逼临沂;一路为矶谷的第10师团,该师团沿津浦路南下,直取台儿庄。中国军队为堵截日军前进,在临沂、滕县同日军发生了激烈的战斗,揭开了台儿庄会战的序幕。
2月下旬,日军东路第5师团从山东潍县南下,连陷沂水、莒县、日照,直扑临沂。中国军队第3军团第40军等部节节抵抗。李宗仁派遣庞炳勋部,先在临沂建立防御阵地,以诱敌深入,先挡住日军第5师团的正面攻击,然后迅速调派张自忠将军的第59军,兼程驰援临沂。张自忠部此时远在淮河流域一带,但是在接到命令之后,立刻以最快的速度,向临沂方向增援。此时日军也掌握到张自忠部的动向,但是日方估计,59军最快也要3天的时间,才能从峄县赶到临沂,所以日军认为可以抢先击溃在临沂弹尽援绝的庞炳勋部,然后再以逸待劳地反击张自忠部,因此日军估算张自忠部不但不能及时赶到临沂成为救援军,反而成为送上门来的“找死军”。但是张自忠却率领59军进行日夜的急行军,这是吃苦耐劳与豪气干云的西北军特质,在军长的一声令下,竟然能够在一日一夜之内,提前赶到临沂。因此59军在敌方完全没有预备的状况下,就有如从天而降般地猛攻日军第5师团背侧,庞炳勋部将士更是用命地从阵地反击,日军绝对没有想到中国军队竟然会进行这种内外夹攻的拼命打法。因此,在3月14日到18日的临沂决战中,日军第5师团遭到极其惨重的损失,造成日军部队已经无法继续支撑作战,只有先撤退回莒县以困守待援(当时日军虽以超过一百多辆的卡车,满载阵亡的日军尸首匆促地奔逃,但战场上仍然遗留了不少的死尸。日军一向非常重视同胞尸首的处理,不是危急到没有办法,通常都会设法带回焚化,将骨灰带回日本)。临沂之战得胜,它砍断了津浦路北段日军的左臂,促成了之后台儿庄会战中,李宗仁围歼孤军深入台儿庄的矶谷师团的契机。
正当板垣败绩累累之际,日军西路第10师团长矶谷仍然武士道精神十足,不顾一切,日益向南推进。李宗仁调来川军邓锡侯第22集团军,孙震的第41军赶往滕县,拒敌南下。孙震部刚在滕县部署就绪,3月14日,矶谷师团就发动攻击。日军以数十架飞机30余门大炮狂轰滥炸,守军师长王铭章督战死守。3月17日晚,日军配合炮火攻陷滕县 (今滕州)。中国守军第22集团军第41军英勇抗击,伤亡甚重,苦战至17日,该军守城的第122师师长王铭璋殉国,伤亡达5000之众。李宗仁见滕县危险,又急令新拨归第5战区指挥的第20军团司令汤恩伯派部驰援。汤的主力81军王仲廉部因行程过远,未能及时赶到,滕县失守。敌军损失也极大,死伤达2000多人。此战,22集团军以劣势之装备与兵力,阻击绝对优势之敌达3天半,为第5战区之后的台儿庄会战争取了有利时间,奠定了胜利的基础。