由前所述，在第5战区台儿庄会战的作战方针是阵地战与运动战相结合，因此，实现预定作战方案有两支决定性力量：一是担负机动歼敌任务的汤恩伯部（第20军团）；二是担负完备任务的孙连仲部（第2集团军）。而这两支部队并非李宗仁原来的桂系，都是在徐州会战开始后，分别从程潜的第1战区和阎锡山的第2战区临时转隶而来的部队。因此，对于战区最高司令的李宗仁，当务之急是要理顺关系、凝聚人心。
最令李宗仁头痛的是汤恩伯及其第20军团。在滕县保守战中，由于第22集团军守备任务艰巨、兵力不足，早在日军开始进攻时，李宗仁曾致电蒋介石，请派军事委员会直接控制于豫东的汤恩伯第20军团第85军的第4师增援津浦路。蒋介石基于徐州会战的特殊地位，也深知第5战区实力太弱（当时全为杂牌军），同意将第20军团投入第5战区管辖的鲁南战场。汤军名义上虽属第5战区管辖，实际上对李宗仁的指令常打折扣，惟蒋命是从。
汤之所以如此狂傲，主要因为第20军团是蒋介石的嫡系部队。汤恩伯的第20军团是6个月之前才组建的一个新军团，直接受国民政府军事委员会统辖，下辖第13、第52、第85三个军和一个独立骑兵团。第13军军长由汤恩伯本人兼任，下辖第110师（师长张轸）；第52军（军长关麟征），下辖第2师(师长郑洞国)，第25师(师长张雷明)；第85军（军长王仲廉），下辖第4师(师长陈大庆)、第89师(师长张雪中)。其中，第52军、第85军的军师级干部，大部分是黄埔军校学生，蒋介石视他们为“得意弟子”，因此，对这支部队予以重点装备。配以一定数量的野炮、重炮、坦克，枪械齐全，成为当时国民党军队的精华。
3月14日，正当日军第10师团沿津浦路快速南下，滕县处于危急之时，李宗仁曾电令汤军团长：
敌于津浦北正面增加兵力，大举反攻，以牵制我鲁南之作战。邓部(指川军第22集团军邓锡侯部——引者注)兵少械劣，正面薄弱，两翼空虚，恐难拒敌。已电呈委座，调贵军团85军驻商丘之一整师，由火车输送至滕县附近，作22集团军之总预备队，望即出动为荷!
汤恩伯接到李宗仁的电令后，很不高兴。称李是瞎指挥。抱怨李宗仁：“今天这儿抽我一个师，明天那儿挖我一个师，这么三抽两挖，叫我这个军团长怎么当?再说，我的部队正在河南商丘、安徽亳州一带整训，大兵团在陇海和津浦两条交叉的单轨铁道上输送必须两度换车，我又怎么可能在短短的一夜之间把兵力集中到滕县?”
于是迟迟没有发兵，这也就是22集团军滕县血战时迟迟盼不到援军的重要原因。
但汤恩伯知道李宗仁在电令自己的同时也请示了老蒋，如果不予执行，担心蒋介石怪罪。于是仍不理会李宗仁，先给蒋委员长发一份电报，电文写道：
“蒋委员长。恳以本军团全部调津浦北段出击，避免分割使用，以益战局，而杜分散或作无代价之消耗。
谨呈。汤恩伯。”
当晚汤恩伯收到了蒋介石的电话指令：
“为了策应津浦北段的正面作战，我同意20军团全部调第5战区指挥，准备在临城与敌人决战。所属的第85军，今晚立即从商丘乘车，经徐州向临城输送，务必于17日拂晓前到达临城集结完毕。第52军，即开商丘集结待命，该军团长（汤恩伯——引者注）先到徐州指挥。”
就这样汤恩伯部加入了第5战区的徐州会战。但是，由于之前汤部未能及时增援滕县，战况突变，矶谷的一个旅团，已突破中国军队第22集团军王铭章师在滕县外围各阵地，以机械化部队，沿南沙河一带，猛向官桥、临城一带迂回。此时，汤恩伯所属的52军还远在徐州、归德一带，无法立即赶到临城参战。这么一来，蒋介石、李宗仁希望汤恩伯在临城与敌人决战的企图，随着情况的变化而无法实现了。加之，当时第5战区司令李宗仁并无预备兵团在手，所以只得命令汤恩伯将52军输送到韩庄就下车集结，其意在于加大逐次抵抗的纵深，而在运河北岸巩固一个大桥头堡，来保障徐州的安全。汤恩伯从自身利益出发，并考虑到所担负的机动作战任务，把主力移置于东集、西集、凤凰庄一带，形成对敌侧击的准备，以防战局的恶化。
其实，李宗仁对汤恩伯的担心不无道理。当时，第5战区的作战计划，着眼于在临城与韩庄运河间聚歼日军，所依仗的主力是汤恩伯军团。与后来所进行的台儿庄战役有些出入。其中主要原因固然与当时对日军实力估计不足有关，而汤恩伯没有很好执行命令，采取一定的避战态度则是重要原因，幸亏李宗仁下狠心晓以利害逼其令行禁止，同时关键时刻，蒋介石从全局出发督促汤恩伯，否则后果不堪设想。
在上述计划中，另派一支重要力量即担任台儿庄、运河一线的阻击任务的部队。事后证明，这一方向实际上成为整个台儿庄会战的主角，对于会战的胜利起到了决定性作用，立下了头功。那么，派哪一支部队来担负这一重任呢?李宗仁与参谋人员反复权衡决心启用第2集团军孙连仲部。
第2集团军属于原西北军旧部，总司令孙连仲，字仿鲁，河北雄县人，1893年生，保定中学毕业后投笔从戎。成为冯玉祥的部下后，因为头脑机灵，作战勇敢，受到了冯玉祥的赏识，之后不断升迁，为冯部中的虎将——“十三太保”之一。1930年蒋、冯、阎大战后，冯玉祥集团瓦解，孙连仲部被蒋介石改编为第26路军，孙任总指挥。抗日战争爆发后，26路军又改建为第2集团军，孙仍任总司令。