武汉处死韩复榘的枪声，震醒了沉睡、麻木的中国国民党军队，骄狂地窜向中原大地的南、北两路日军，行军、作战再不像过去那么顺当了。
1938年1月21日，南路日军由田俊六指挥4个师团出浦口向北一路进攻，刚过滁州不久，即在张八岭、岱山、珠龙桥藕塘一带被韦云松的第31军顽强阻住。从1月25日开始，日军利用飞机、大炮掩护，冒雪强渡池河。韦云松指挥第31军与日军血战10天，后接到李宗仁命令，让开正面，占领两侧山地，放日军前出一步。2月1日至4日，日军先后攻陷蚌埠、定远、怀远、临淮关、凤阳，并开始强渡淮河。
2月8日晚，蚌埠日军500余人，在飞机大炮的掩护下，乘坐橡皮艇、帆布艇、木筏渡河，被于学忠第51军全歼。9日，日军600余人再行强渡，中国守军阻截不住，退至小蚌埠以北阵地。又战几日，于学忠部退却。13日，张自忠率第59军接替第51军战斗。
张自忠自南京辞别李宗仁后，在1战区闲着无事，便一门心思整训部队。一接到命令说要调赴李宗仁的5战区，不禁大喜过望。一来他憋着劲儿要与日本人血战一场，洗雪耻辱；二来投奔李长官手下，报知遇之恩已是时候。未离驻地，便先致电徐州，向李宗仁报到，并表示甘赴驱驰，绝不退缩。59军的到来，无疑是阻止日军北上的一支重要力量。李宗仁、张自忠皆大欢喜。
于此同时，廖磊第21集团军到达合肥、舒城、八斗岭、下塘集线，5战区南线力量大增，使华中派遣军司令田俊六大将的4个师团的北进力量被阻于淮河两岸。
北路日军麻烦更大。韩复榘不战自退，日军一路顺当。但今日之守军。因韩复榘成了蒋介石的祭品，因而士气猛增。这令左右两路南下的日军都遇到了顽强的抵抗。当时左翼是板垣征四郎的第5师团。该股日军主力自胶州湾沿胶湾登陆后，几乎未遇激烈的抵抗，大摇大摆地一路西进。至潍县后，沿台潍公路南下，试图夺取鲁南要地临沂，从东路包抄徐州，但在临沂，板垣做梦也想不到会尝到失败的滋味。
2月21日，第5师团板本旅团3个步兵联队，1个炮兵联队，1个骑兵大队，辎重，工兵部队以及刘桂堂伪军，共约两万人，向临沂突进，沿途遭到庞炳勋第3军团、沈鸿烈海军陆战队以及保安队的节节抵抗，日军连陷诸城、颧县、沂水，于3月5日到达临沂以北之汤头白塔、尤家庄一带，距城仅10余里。10日，日军约八九千人，在战车20余辆、大炮30余门、飞机10余架掩护下，向临沂发起了猛攻。
为了粉碎敌军会师台儿庄的战略企图，坐镇徐州的李宗仁南路布兵于淮河之线，北路布阵于滕县一线，分别阻止津浦线上南北之敌。地处敌板垣师团进击路上的临沂，属鲁南军事重镇，距台庄在90公里。临沂不保，台儿庄难以维系。要挫败板垣、矶谷会师台儿庄，进击徐州的计划，必须将板垣师团截于临沂，并予以重创。故临沂一战成为台儿庄战役的前哨战。
临沂守军名义上是一个军团，但实际兵力仅有5个团，以及从青岛撤退的海军陆战队。面对日军的狂轰滥炸，庞炳勋部队伤亡极大，连电告急，第5战区参谋长徐祖贻来赴临沂指挥，同时李宗仁调张自忠第59军从滕县附近紧急增援。
张自忠于3月10日夜亲自率部出征，一昼夜强行军180里，于12日抵达临沂北部沂河西岸。庞炳勋当即要求59军接替城防。但张自忠认为与其消极防御，不如以攻为守，击敌侧背，以解临沂之围。结果张自忠的主张被战区采纳。
14日凌晨，张自忠指挥全军暗渡沂水，以38师主力为左纵队，180师为右纵队，114旅为总预备队，于4时许迅速展开成20余里正面，向第5师团右侧背发起攻击，第一次临沂之战打响。59军左右两路很快便在亭子头、大太平、申家太平、徐家太平、沙岭子等处突破日军阵地，攻击锋芒之锐利，大出板垣意外。第5师团被迫放弃正面攻城，转对59军作战。张自忠原本就是一员虎将，又急于杀敌雪耻，报知遇大恩，因而不顾牺牲，率59军官兵发扬西北军近战传统，与日军短兵相接，形成逐村逐屋的白刃争夺战。战斗空前激烈，59军让板垣的机械化第5师团付出了惨重代价。
战至16日，战区长官部认为59军伤亡过重，建议该军向郯城撤退。这一刻，李宗仁已为张自忠的英勇所感动，也心领了张自忠的感激之情，但他不能做一锤子的买卖，一次把59军耗个干净，因此决定以其他部队换下张自忠的59军。谁知张自忠杀红了眼，几次恳请，坚持再打一天一夜。李宗仁无奈，只能同意。张自忠得令后，下令全军各级将领全部奔赴第一线，倾尽全力对第5师团作最后一击。同日，庞炳勋军团也发动攻势，张、庞两军临沂城下前后夹击板坦师团的板本旅团，激战一昼夜，先后占领尤家庄、傅家屯、东西水湖崖、沙岭一线。18日，张、庞两军从东、南、西三面夹击汤头、三疃、傅家池、草坡附近日军。经过3天血战，先后攻克李家五湖、辇沂庄、车庄、前湖崖，日军完全被击溃，残敌大部向莒县窜逃，一部仍在汤头固守待援。
这次战斗，张、庞两军共约伤亡3000余人，但日军亦被消灭3000人左右，其中包括第11联队长野裕一郎大佐、年田中佐和一名大队长。日军用载重汽车拉回莒县焚化的尸体就达100余车，来不及运回就地掩埋者还有七八百具。此次辉煌的战斗，不但打痛了板垣，也震惊了武汉的蒋介石。连战连败中，两支地方军竟能与日军打出1∶1的伤亡率，而且对手是日军的第一支机械化师团。蒋介石大笔一挥，亲自致电张自忠，嘉勉59军，并通令全军，撤销军委会对张自忠“撤职查办”的处分。好汉什么时候都有种。张自忠一上战场，便用日本人的血替自己洗清冤名。
18日晚，59军奉令向费县集结，威胁第10师团左侧背，以策应战区正面作战。不料，第5师团趁机增兵临沂，庞部再度告急。张自忠部星夜回援，于25日返抵临沂。全军官兵浴血鏖战，冒死冲锋，再给日军以极大杀伤。29日，中国军队第57军333旅和汤恩伯部一个骑兵团赶到。张自忠乘势下令全线出击，板垣精锐再次被打得掉头向汤头方向逃窜。临沂之围再解。
两次临沂之战，59军付出了巨大牺牲。仅连长就伤亡120名。第5师团号称日本“铁军”，两次败北。师团长板垣征四郎连大衣、手杖都未及带走，被59军缴获。板垣羞于屡战屡败，差点自杀以谢罪天皇。
临沂之战，张自忠几乎征服了所有的人。国人一改过去斥之为“汉奸”的鄙夷态度，转而向其投去了热辣辣的崇敬的目光。但真正被其感动的，还是5战区的几员战将，首先是被困临沂的庞炳勋将军。最初临沂告急，听说李宗仁派张自忠的59军增援，庞老将军心里直打鼓：怎么偏偏派这么个人来，看来我这把老骨头是非扔在临沂城下不可了。
庞、张二人是老相识了，而且曾有过袍泽之谊。庞炳勋了解张自忠，他从未认为张自忠会是“汉奸”。但一辈子治军严明、东征西讨的庞炳勋将军做过几件对不起朋友的事，对张自忠他更是心有愧疚。
早年，两人同在西北军效命。中原大战爆发，怕失去军队的庞炳勋经不住蒋介石诱惑，暗中投了蒋，后受蒋之命反戈袭击了张自忠部，张自忠骁勇一世却险些栽在他手里。从此，张自忠恨透了庞炳勋。抗战开始后也曾公开杨言：与任何部队合作、与任何敌手交战都不怕，但就是不跟庞老头作友军，他会从背后拿人。
临沂吃紧，李宗仁急搬救兵，但真正能解燃眉之急的近兵偏偏就是张自忠的59军。按实力，59军兵多将广，但按编制，庞炳勋贵为军团长，张自忠增援临沂，替老冤家解围，这原本已让战区长官部头疼，再让张自忠听庞炳勋指挥，能成吗？5战区长官部从上到下都感到事情麻烦。
李宗仁亲自向张自忠晓以利害，把国难、私仇并排摆在张自忠面前，让他拣。张自忠并未表态，而是率部径直奔向临沂。李宗仁心里没谱，为平衡指挥，只能将自己的参谋长徐祖贻派赴临沂，协调指挥张、庞两军，让张自忠面子上好看些。
其实李宗仁、徐祖贻、庞炳勋等人都多虑了。国难、私仇，在张自忠眼里的份量毕竟大有不同。两战临沂，张自忠像一头雄狮，大战板垣师团。尽管59所部损失惨重，但他不仅解了庞部之围，更打得板垣痛彻心肺。
庞炳勋心悦诚服地叹道：“荩枕不计前嫌，为人磊落，令我庞某枉活60多岁。”
李宗仁日后从全局出发，更是高度评价张自忠：“无荩枕，则无临沂之胜。而临沂战役最大收获，就是将板垣、矶谷两师团在台儿庄会师的计划彻底粉碎。造成台儿庄血战时，矶谷师团孤军深入为我围歼的契机。”
北路日军中，津浦正面矶谷廉介第10师团自上月上旬占领兖州、济宁、邹县一线后，非常轻狂，认为当面中国军队不堪一击，攻占徐州易如反掌，便沿津浦路向南突进。
韩复榘欠的账现在得李宗仁来还。为了迟滞日军南下的速度，使中国援军能够有时间在徐州附近部署，2月7日，李宗仁令第三集团军副总司令孙桐萱代行总司令职权，率该集团军反攻济宁、议上。
济、汶日军为第10师团步兵第39联队，其中济宁驻有3000余人，炮20余门，战车10余辆，日军每日以千余人出城四处逡巡，防备甚严。汶上之敌约500余，炮6门，机枪10余挺，分驻城关戒备。
12日夜，展书堂师由开河镇渡过运河。次日零时，部队分由汉上城西北、东、南三面攀登城垣，进行偷袭。其中一部由城西北上冲入城内，同日军展开激烈巷战。日军即由济宁派兵800人增援，在汶上城南辛店遭到展师一个团阻击。14日，日军逐次增援已达干人。汶上城内日军则以机枪、平射炮架于屋顶，向中国攻击部队猛射，并利用工事阻截各巷口，负隅顽抗，敌机数架亦反复轰炸。经过两昼夜的激战，双方伤亡惨重，至17日晨，敌由泰安、兖州、宁阳驰援2000人以上。由于展师已同汶上之敌激战、肉搏4昼夜，数次浴血攻城，官兵伤亡达2000余，共毙敌七八百，乃奉命向开河镇附近运河之线撤退。
在展师反攻汶上的同时，孙桐萱即令第55军及第22师向济宁攻击。12日晚，谷良民师一个旅，附山炮两连，由济宁西北之大长沟强渡运河，翌日攻克北关。战至17日，谷师歼敌数百，击毁日军装甲车5辆，中国军队亦伤亡6、7百人。
鉴于日军主力全面反攻，中国军队伤亡较重，攻势无进展，19日，孙桐萱命令全线撤退。同日，日军3000余人向曹福林师反击。至25日，第3集团军歼敌千余人，缴获大炮4门，战车3辆，自己将士伤亡三四千人。
3月15日，日军一部抵滕县附近。孙震急令军预备队、第122师长王铭章率部死守滕县，等待汤恩伯军团增援。王铭章仓促上阵，守城兵力不过两个营，于是紧急调兵遣将，急令第366旅由太平邑赶赴滕县增援，但该旅在城头村附近同日军数千人遭遇，被截成数段，仅1个营冲进滕县。
16日黎明，日军步骑约5000人迫近滕县东郊，首先向守备滕县东关的警戒部队进攻。8时许，敌集中炮火向滕县东关、城内和西关火车站射击，同时，敌飞机10余架飞临滕县狂轰滥炸。驻在西关的王铭章在敌轰炸开始后，通过电话询问情况，随后跑步进城，他判断东郊之敌即将大举进攻，大战迫在眉睫，便昭告全城官兵，“吾决心死守滕城，我和大家一道，城存与存，城亡与亡。”随后命令将南北城门堵死，东西城门暂留交通道路，也随时准备封闭。师部和直属部队也由西关移进城内。
日军自8时开始，持续炮击了两个小时，10时许停止射击，沉寂了约30分钟，突然集中炮火猛烈轰击东关南半部寨墙的突出部，掩护步兵进攻。守城官兵毫不畏惧，沉着应战，隐蔽在缺口两侧，当敌兵约五六十人刚要向缺口冲锋时，向敌猛投手榴弹，将敌大部歼灭。就这样，担负缺口段守备的一连，接连打退敌军三次冲锋，而自己也伤亡近百，由预备队替换下来。下午2时，日军再向东关东北角猛攻；5时，又猛攻东关门，均被守城部队击退。日军遗尸累累，守军亦伤亡惨重。当晚，战斗停止。
滕县正面45军部队经过3天浴血奋战，伤亡过半。16日午，正面阵地被敌突破。45军从滕县两侧撤退。当晚，41军124旅中途遇敌，绕道到达临城。王铭章根据兵力变化情况，重新调整部署。同时，命令各部抓紧补充弹药，构筑工事；在城墙下隐蔽的部队，每班扎一架云梯，随时准备登城反击。
援军汤恩伯部王仲廉军15、16日陆续到达临城，先头部队1个团刚下火车孙震以滕县情况紧急，令其前往增援。该团在南沙河遭到围攻滕县日军一部攻击，不支溃退，其他各部仅在南沙河警戒，其军部到达后，得知滕县正受强大敌军围攻，便借口机动作战，将部队迂回向滕县东北峰山以东地区开去。于是南沙河之敌向前推进，22集团军总部不能抵抗，遂后撤至运河南岸利国驿，从此与滕县守军失去联络，滕县完全陷入日军包围之中。
汤恩怕不是张自忠，他是只机动本作战。王铭章一腔热血，却远没庞炳勋幸运。
矶谷自进入山东后，几乎未遇到顽强死守一点的中国军队。今日滕县碰上了硬钉子，大出意料。16日夜，他下令调集精锐部队。配以数十辆装甲战车和大量炮兵，猛攻滕县。
17日晨6时，敌集中炮兵火力，猛烈轰击滕县城区，敌机20余架疯狂投弹扫射，整个滕县城硝烟弥漫，房倒屋塌，顿成一片火海。两个多小时的轰炸之后，敌开始向东关突进，以10余辆坦克为先导，掩护步兵从东寨墙的缺口冲锋。东关守军冒着敌人炮火，近距离与敌展开殊死搏斗，伤亡惨重。另一部日军向被轰塌的东南角城墙进攻，守军1个连，用集束手榴弹炸毁敌战车两辆，在敌密集火力射击下，该连伤亡殆尽。敌步兵40余人冲上城角，守军另遣1个连向突入之敌反击，经激烈肉搏，全歼突入之敌。此时，王铭章急电孙震：“敌以炮火猛轰我城内及东南角城墙，东关附近又被冲毁数段，敌兵登城，经我反击，毙敌无数，已将其击退，若友军深夜无消息，则孤城危矣。”
今后2时，日军以重炮猛轰南城墙下街道，同时，敌机20余架轰炸南关。随后，敌步兵在坦克掩护下进攻南城。守军英勇战斗，伤亡殆尽，敌军攻占南城墙。此时东面日军集中兵力猛攻东关，敌步兵在坦克掩护下突入东关。王铭章见城已四破而援军无望，发出了最后一电，表示：“决心死拼，以报国家。”
南城墙与东关失守后，王铭章义愤填膺，亲临城中心十字街指挥督战。敌军炮火集中狂轰西门城楼、西关、火车站等处，占领南城墙的日军继续用机枪火力掩护步兵从西南城席向西城墙守军进攻。王铭章再次下令一定固守西关和火车站，并部署兵力压制敌人向西城楼进攻。下午5时，西城墙和西门城楼陷落，日军集中火力猛击城中心十字街口。王铭章除令城内各部队与敌巷战，死守西关待援外，亲自登上西北城墙，指挥作战，王铭章命令警卫连仅余的1个排，去夺取西门城楼，但是敌人火力太猛，全排壮烈牺牲。此时，王铭章决心转移到西关火车站372旅，继续指挥守军与敌拼搏。当行至电灯公司附近时，西城楼敌军居高临下，一阵机枪射击，王铭章及其部属、随从共20余人，大部为国献身。王铭章代军长身中数弹，贯穿胸部，血流如注，但仍挺着身躯对部属说：“你们快同敌人拼去吧！不要管我！”最后在艰难的“中华民族万岁！”的呼喊声中，气绝身亡。
城中守军继续与敌人死拼，激战至黄昏，东门失守。至此，日寇已占领了滕县东、南、西三面城墙，但西北、东北城角两个制高点和北城墙的守军仍在顽强抵抗，直至晚9时，该部二三百人从北门安全撤出。这时，城中尚有一些零星部队继续与敌战斗，至18日中午，仍不时响起枪声，直至守军全部英勇牺牲。西关、火车站的守军，坚持战斗到18日夜，各方联络全部中断，遂决心转移。全城陷于敌手。
滕县，3天3夜悲壮空前的大血战，揭开了台儿庄战役的序幕。滕县之战以巨大的牺牲阻滞了日寇南犯徐州，为鲁南会战赢得了宝贵的准备时间，为台儿庄大捷创造了有利条件，为保卫徐州、巩固武汉立下了不朽功勋。第5战区司令长官、台儿庄战役总指挥李宗仁将军日后字字血泪地说：“滕县一战，川军以寡敌众，不惜重大牺牲，阻敌南下，达成战斗任务，写出了川军抗战史上最光荣之一页。”“若无滕县之苦战，焉有台儿庄之大捷？台儿庄之战果，实滕县先烈所创成也!”
日本随军记者佳滕芳子当时曾报道：“1938年3月初，我军攻占济南后……继续南进，在泰安、兖州等处均未遇到抵抗，但到滕县后，遇到41军之122师顽强抵抗3天，我军遭受很大损伤。”
蒋介石似乎也为王铭章气吞山河的壮举所感动，亲自从武汉飞赴徐州，至前线祭奠王铭章。对恰遇敌机空袭，警卫要护其掩蔽，被他挥臂挡住，“小小的飞机，不要理它。”炸弹在不远处爆炸，蒋介石不为所动，一直坚持到祭奠仪式完毕。