孙连仲部以最善于防守而著称。在北洋军阀统治时期，有名的几次防御战如南田之战、西安守城之战，都是他们打的。抗日战争期间，长城抗战中的喜峰口、罗文峪防御战，均打得很出色。在太原会战的娘子关保卫战中，孙连仲负责扼守娘子关正面阵地，日军在飞机大炮的掩护下，向娘子关猛攻，不能越雷池一步。
但他们是国民党军队中的一支杂牌部队，名义上叫集团军，实际上只管辖2个军（30军，军长田镇南；42军，军长马安邦）。部队的武器装备极差，重兵器很少，枪械混杂，有的士兵甚至仅有一把钢制的大刀作为武器。
滕县之战结束之时，孙连仲的第2集团军奉命在徐州北部的台儿庄阵地进行布防。李宗仁要求孙连仲部在台儿庄附近布下袋形的防御阵地，以吸引日军的攻势，然后下令装备与火力较佳的汤恩伯第20军团，在外围进行运动战，当日军的攻势在台儿庄受到阻挡之后，立即设法由外线进行包围，攻击日军的背侧，形成以内外夹攻的方式围歼日军。
当时孙连仲在台儿庄的口袋阵地的部署，是以31师池峰城部，防守台儿庄主阵地，30师与110师在台儿庄以西，27师与独立44旅在台儿庄以东，分别建立阵地。这样日军一旦攻入台儿庄，就会陷入第5战区的口袋阵地之中。
3月21日，李宗仁在徐州第5战区司令部亲自接见了第2集团军总指挥孙连仲和担负主要防御方向守备任务的31师师长池峰城，体现了第5战区对第2集团军所担负坚守台儿庄的高度重视，以及对将士们的关切之情。会见中，李宗仁高度赞扬了第2集团军辉煌的战史，以第20集团军担负此次防御任务的重大意义。最后，专门向池峰城布置作战任务：31师到台儿庄后，先接替第100师韩庄至台儿庄沿运河防线，然后可向峄县出击，并坚决在台儿庄堵住敌人。当第20军团进击敌侧背，全力压迫敌人于运河北岸、微山湖畔一带时，聚而歼之。李宗仁还特别交代：为了协同方便，31师暂归第20军团长汤恩伯指挥，待第2集团军司令部到来后，部队再归建制。
受领任务后，孙连仲即令31师及独立44旅作为集团军先头部队，立即驰往台儿庄及其附近地区，自己亲率第27师、30师随后跟进。
池峰城率第2集团军先头部队抵达台儿庄并接替第100师韩庄至台儿庄沿运河防线后，立即开始构筑工事。
22日，第20军团司令部及52军路经台儿庄时，军团长汤恩伯和52军军长关麟征会晤了池峰城，特别强调31师务须努力堵击敌人的南进。他要求31师以一个旅的兵力进至台儿庄以北的泥沟附近，对峄县方面的敌人实行警戒。还答应在31师与敌接火后，他将率领第20军团马上抄袭敌人侧背，协力夹击敌人，31师只要能在台儿庄一线坚守三日，即算完成任务。
池峰城按照战区司令官李宗仁、本集团军总指挥孙连仲和临时直接领导汤恩伯的指示精神，对部队进行了部署：康法如旅守卫台儿庄及运河一线，乜子彬旅向峄县方面担负搜索警戒任务。
此时，蒋介石也高度重视这场作战的重要性，3月24日，亲自率领副参谋总长兼军训部长白崇禧、军令部长徐永昌等人到徐州视察战局，并且设法调动所有能够动用的部队，前往徐州的第5战区增援，准备给予孤军深入的日军重大的一击，不惜花大的血本，非要打败这股不可一世的骄兵。
24日晚12时，白崇禧在孙连仲的陪同下，亲临台儿庄前线视察。他们先来到韩家寺第2集团军司令部，听取孙连仲的汇报，然后又来到台儿庄南站第31师师部了解战况。当得知31师仅装备有步机枪与迫击炮，急需大炮支援时，白崇禧即在师部与徐州李宗仁、开封程潜通了电话，李、程答应即调野炮、战防炮、坦克队来台儿庄。不久，炮第10团之第1、2两营，重炮第1连，坦克防御炮第1连，坦克第3中队即调到台儿庄一线。炮兵两营装备的是沈阳仿造的克虏伯野炮，炮弹口径为76毫米，最大射程13公里，每营配备此炮8门。重炮连装备的是德国造莱因式重榴弹炮，炮弹口径为150毫米，最大射程为15公里，炮连配备此炮3门。这种炮是当时国民党军队中射程最远、威力最大的野战重炮。坦克防御炮是由重庆五零兵工厂仿瑞士苏罗通坦克防御炮制造而成，炮弹口径为37毫米，最大射程3000米，每分钟可连续发射炮弹20发。此炮发射的穿甲弹，穿透能力强，对坦克很有威胁力，而发射的爆炸弹则可给人员造成大量的杀伤。此炮属于30年代的新式产品，装备于新近由装甲兵团扩编的第200师。将配属于第3集团军的是200师炮兵第52团第8连，该连装备此炮6门。以上这些重兵器，虽数量有限，但大大地增强了第2集团军的作战实力。炮兵和铁甲车队于3月25日日间即抵达台儿庄参加战斗。战防炮也于3月26日夜间运至台儿庄南站。还计划出动空军，炸射日军。当时，在台儿庄地区的中国军队除了孙连仲第2集团军和汤恩伯第20军团，还有川军孙震部第41军，张自忠第59军，庞炳勋第40军等部数十万人。为了使会战稳操胜券，又令集结于武汉附近的黄杰、桂永清、俞济时、宋希濂、李汉魂各军火速向徐州地区增援。
一时间台儿庄地区大军云集，一场激战眼看就要爆发。