蒋介石批准张自忠重返部队的手令一下达，张自忠便离开武汉奔赴前线。
行前他特地前往李宗仁寓所辞行，感谢对他的帮助。对李宗仁道：“要不是李长官一言九鼎，自忠纵不被枪毙，也当长陷缧绁之中，为民族罪人。今蒙长官成全，恩同再造。自忠有生之日，当以热血生命以报国家，以报知遇。”
张自忠回到前线，首先便去见宋哲元。
宋哲元在东明县七十七军军部，集合军部人员和部队，热烈欢迎张自忠，介绍张自忠同官兵见面。
宋哲元对七十七军官兵说：“张自忠留北平是我的主张，是为维护部队安全撤退。五十九军军长未派人，就是给他留着的。现下他回来了，就叫他去当军长。”
七十七军军长冯治安听说张自忠归来，十分高兴，他特别地自东明渡河来欢迎张自忠。两人见面，热烈拥抱，热泪双流。
冯治安道：“荩忱大哥，我们大家终于把你盼回来了。真是令人高兴得很。”
张自忠：“仰之弟，小兄看到你也高兴得很。我还以为我这一辈子再也回不到部队了呢。”
冯治安：“回来了便好，回来了便好。大家盼你都盼得眼都穿了。”
“谢谢弟兄们的关怀。”
七十七军的高级军官，大多原是张自忠西北军时代的学生，张自忠到来，大家相见，自然十分欢愉。大家纷纷向张自忠问候，祝贺他终于回到了部队。
七十七军军长冯治安同张自忠是换过金兰谱的拜把弟兄，二十九军初创，是张自忠向宋哲元力荐冯治安出任三十七师师长。
宋哲元在七十七军军官会上宣布，张自忠已由蒋介石委任以军政部中将部附代五十九军军长职务。这无形中把前一时期七十七军同五十九军间的隔阂，一下便消溶了。
在长清停留了两天，张自忠便回五十九军军部所在地道口西南的李源屯。
张自忠回五十九军来了的消息，像滚滚春雷传遍了五十九军各部；像春风，吹遍了五十九军驻扎的每一个角落。五十九军顿时沸腾起来了。
三十八师师长黄维纲、一八○师师长刘振三、旅长董升堂、张宗衡、祁光远、李金镇、朱春芳等以及团长们，在得到这个消息后，都聚集到李源屯来了。五十九军团以上的军官，在副军长李文田的率领下，赶到道口来迎接他。当张自忠到达道口时，立即锣鼓喧天，鞭炮齐鸣，前来迎接他的官兵，排列着整齐的队列，齐声欢呼：“欢迎军长归来！”
黄维纲师长代表全军将士，跑步来到张自忠面前，立正行了一个军礼：“第五十九军第三十八师师长黄维纲，代表五十九军全体将士，向军长致意，热烈欢迎军长胜利回队。”并把绸扎的大红花，挂在了张自忠的胸前。
张自忠含着激动的热泪，和黄维纲热烈握手、拥抱。然后在黄维纲的陪同下，和副军长李文田、一八○师师长刘振三、和来欢迎他的旅长们、团长们一个个握手、拥抱。
大家都很激动，黄维纲对张自忠道：“军长，你给弟兄们讲几句话吧！”
张自忠点点头，含着激动的泪花，站在一个石墩上，对大家道：“我今日回军，和大家一起共同杀敌，就是要带着大家去找死路，看将来为国家死在什么地方！”
大家听到这句话，都哭了。谁说男儿无泪！这些铁铮铮的钢铁汉子，同样也有泪，同样也为情落泪！这种泪，不是软弱的泪，而是可以表达“慷慨赴义死”，“五岳倒为轻”；“纵死侠骨香，不惭世上英”的烈士决心的泪。
张自忠的回到军中，全军从每个士兵到每一个军官，无不欢欣鼓舞，这几天全军上下，每个连队，都像过年一样热闹，杀猪宰羊，锣鼓喧天。
只有副军长李文田见到张自忠，显得有些不自然，因为他想到张自忠不在这里的日子，自己所作的一切，心中感到内疚、惭愧。但张自忠却装着不知道的样子，仿佛根本不知道已发生的事情，也从不提起它，大小事情，仍和过去一样找他商量。使李文田又惭愧、又感动，因为李文田知道，他作的事，不仅已闹得第一集团军的将领可以说是无人不知，就是南京军界，也几乎是知者甚多了，张自忠怎会不知道呢。可张自忠却没有一句责备他的话，却仍如既往一样待他，他尤其感到不过意。
张自忠的归来，使五十九军结束了几个月群龙无首的局面，全军军心凝聚，士气大振。
1938年元旦过后，五十九军奉命移驻修武、新乡一带。
此时全军辖两个师，共五个旅。第三十八师师长黄维纲，下辖一一二旅，旅长李金镇；一一三旅，旅长朱春芳；一一四旅，旅长董升堂。第一八○师师长刘振三，下辖独立第二十六旅，旅长张宗衡；独立第三十九旅，旅长祁光远。军直辖特务团团长安克敏。全军兵力约三万人。
张自忠一回到部队，就着手对全军进行整训。在张自忠的严格训练下，五十九军利用战斗间隙加紧实战训练，使战术水平进一步提高，战斗力得到增强。
1937年12月13日，南京沦陷。此时，华北日军已占领了北平、天津、太原、石家庄、保定、张家口、济南等大中城市，将中国军队压迫到黄河以南。华中日军也占据了沪、宁、杭长江三角洲。为了打通津浦铁路线，使南北日军联成一片，进而觊觎中原，华北日军占领济南后，进至济宁、蒙阴、青岛一线。华中日军则由镇江北渡长江，进至明光（今嘉山）、沱河镇一线，摆开南北对进，夹击徐州的势态。
徐州，地处津浦与陇海铁路交叉点，扼苏、鲁、皖、豫四省要冲，是中原武汉的屏幛。古来兵家必争之战略要地，地位非常重要。
国民政府军事委员会和第五战区原来制订利用黄河、淮河天险遏制南北日军攻势，以确保徐州的计划。但由于韩复榘不战而丢弃黄河天险，日军得以迅速推进鲁南。
这个防御计划被打乱，只好临时调兵，仓促应战，陷于被动。
1938年1月初，五十九军由第一战区调归第五战区，编入杨森的第二十七集团军，准备参加徐州会战。
对于这个调动，张自忠喜忧参半。
喜的是能在李宗仁手下效力相处必定愉快。且有机会报答李长官知遇之恩；忧的是五十九军一走，原二十九军部队只有七十七军保留在第一集团军内。这表明，蒋介石的排斥宋哲元之心已趋明朗化。
另外，还有一个因素使张自忠心存顾虑。即与他同为西北军将领、但却与他结下宿怨的“庞拐子”（即庞炳勋）恰巧也在第五战区。
庞与张本同为西北军将领，相处多年，但庞为人不仁不义，阴险善变，中原大战后期，见反蒋军大势已去，遂叛冯投蒋，并且偷袭张自忠师部，使张自忠险遭不测。两人从此结仇。所以，张自忠曾私下对五战区参谋长徐祖诒道：“在任何战场，我张某当可拼一死，唯独不愿与庞炳勋在同一战场，此人不可共事。”
1月底，五十九军奉命开赴豫东商丘地区待命。
这时南路日军第十三师大举进犯，企图突破我军淮河防线。
东北军名将于学忠率五十一军等部，在东起临淮关，西至小蚌埠的宽广正面上奋勇抗击日寇，多次挫败日军进攻。但因战线过长，兵力不足，1月28日，明光失守，2月初，临淮关、凤阳、蚌埠、定远相继被占。五十一军被迫退守淮河北岸。日军乘机强渡淮河，并攻占了北岸的蚌埠、曹老集等地，五十一军多次进行反击均未能奏效，淮河防线有崩溃的危险。
为了扭转这被动战局，2月4日，李宗仁急令五十九军南下增援于学忠部。
张自忠回到部队后，求战建功以表明心迹的心情十分急迫。接到这个命令后，他立即率军南下，开往徐州，准备以火车输送部队。
到了徐州，他立即奉命前往长官署晋见李宗仁。一见面就挺胸立正，举手行了一个军礼，大声报告：“报告李长官，第五十九军代军长、职张自忠来见。五十九军已奉命集中完毕，准备南下参战，请长官指示！”
李宗仁从未见过高级将领对他如同士兵一样敬礼，前不久韩复榘对他就表现出不礼貌与此成为鲜明对比。张自忠如此，令李宗仁颇为惊异，忙让座、敬烟，但张自忠仍立正站着，不肯就座。经李宗仁一再谦让，方才坐了下来，给李宗仁留下极为深刻的印象。李宗仁事后很得意地向记者谈及这次会见。
从长官署回到军里，张自忠立即召开全军营以上军官训话，将淮河战况和五十九军任务作了简要交代和布置。最后，张自忠对全军营以上军官说道：“我现在有过，日寇气焰高涨，无论什么部队都可以打败仗，独我张自忠的部队是不能打败仗的！我的冤枉，只有一拼与死，拿真实的战迹，才能洗白干净！”
全军军官十分理解军长此时的心情，纷纷挥舞着拳头高喊：“决不打败仗！”“我们不会给军长丢脸！”
全军士气十分高涨，决心打好这张自忠回军来的第一仗。尤其是三十八师的“老兵”们，他们这口气憋得太久了，现在终于有出出这口恶气的机会了。
南下之前，张自忠还抽空到中央社驻徐州办事处，看望了在南京结识的中央社记者胡定芬。
胡定芬万万没有料到，作为中将部附、代理五十九军军长 的张自忠，会登门前来拜访于他。所以见到张自忠到来，一开始显得的点手忙脚乱的样子，他和张自忠热烈握手，脸红红地，这是紧张，也是兴奋的反映。
“啊！是荩忱老大哥呀！小弟万万没想到，会是你亲自前来看我来了。”
也许是由于回到军中，也许是这归队后的第一仗，大战的临近和杀敌机会的到来，使张自忠变得兴奋、快活，他一反平日的严肃、寡言的性情。和胡定芬开玩笑道：“老弟，你的身体比在南京时看上去好多了，现在红光满面的，是不是找到对象了，走桃花运哇！”
胡定芬道：“大哥取笑小弟了，我还是孤家寡人一个，哪里找得有对象，桃花运离我还运得很呢。到是大哥的风采比以前更加光润，这次一定要打胜仗了。”
张自忠愉快地对胡定芬道：“我告诉你一件新闻。今天在李司令长官那里，我抽了一支司令长官亲赐的烟卷，这可是我从军以来，谒见长官时从未有过的事。这可算是一条独家新闻吧。就凭这，我们这次是非打胜仗不可。”
两人谈了一阵，张自忠起身告辞，他表情突然变得严肃起来，低声对胡定芬道：“老弟等着瞧吧，谁是民族英雄，谁是混帐王八蛋，要死了才算数。”
胡定芬听得心中一惊，尚未反应过来，张自忠便已走了。
2月12日傍晚，五十九军乘专列沿津浦线向淮河前线开进。在车上，随军采访的《联合画报》记者舒宗侨请张自忠对即将展开的这次战斗发表感想。
张自忠沉痛地说：“现在的军人，很简单的来说，就是怎样找个机会去死。因为我们认为中国所以闹到目前这个地步，可以说是军人的罪恶。十几年来，要是军人认清国家的危机，团结御侮，敌寇绝不敢来侵犯。我们军人今天要想到洗刷他的罪恶，完成对于国家的任务，也只有一条路——去死。早点死，早点光荣的死！”
这是张自忠对以往断送国运的军阀混战痛切反思后得出的结论，同时也反映了他作为一个爱国军人，对于国家、民族的强烈的责任感。
张自忠派出独立二十六旅为先头部队，他亲笔写信给张宗衡旅长说：“要忍到最后一分钟，要撑到最后一秒钟，定能得到良心上的安慰。”
二十六旅由铁路输送到定远、固镇，赓即在东淮河以北数龙滩一带村庄构筑阵地，掩护军队集中。
13日，五十九军抵达淮河前线，部署于瓦疃集、姚集、固镇、濠城一带，接替于学忠防务。
这一带恰恰是历史上著名的淝水之战的古战场，张自忠决心在这片土地上重演古代东晋谢玄大败前秦苻坚的那幕历史壮烈故事。
五十九军官兵自全国抗战爆发以来，还是第一次在老长官指挥下作战，全军上下，摩拳擦掌，跃跃欲试。
张自忠率三十八师到达阵地，侦知敌人正在小蚌埠及淮河两岸布防，构筑半永久性防御工事，尚立足未稳。
从2月中旬起，桂军刘仕毅之第三十一军及周祖晃之第七军，开始在淮河以南向凤阳、定远、怀远、池河之日军侧背攻击，淮河以北的日军被迫抽调队伍回援淮南。
张自忠认为这是一个难得的战机，当下张自忠召集全军官兵训话：“现在我们军人报效国家的时候到了。打日本鬼子要奋勇向前，不准退后。勇敢杀敌的光荣，怯懦偷生的可耻。我带领大家一起拼死报国。我们决定今晚12点分兵南北两路，向敌人发起攻击，直捣日寇指挥部。”
随后部队进行了层层动员。一一四旅旅长董升堂召集营以上军官宣誓：“我军长在平津蒙不白之冤，强敌当前，正是我辈以胜利为他洗白的时候。我们是有进无退，要奋勇杀敌。倘有不明大义的官兵，畏缩不前，一律就地枪决！”
伏魔长剑终于出鞘了！
精锐之师，锐不可挡；雷霆万钧，所向披靡。
日本鬼子哪里晓得中国军队会采取夜袭。日军指挥部里，除了少数巡逻放哨的外，大部已入梦乡。
2有16日，五十九军首先向火星庙、新桥方面的敌人发起猛烈攻击。寂静的夜，突然三颗红色信号弹升空。五十九军的战士，已经潜入敌人阵地，只听得枪声大作，喊杀之声震天，无数中国军人，如天神般从天而降，出现在日本鬼子面前。从梦中惊醒的日本鬼子，愣愣地还没有弄清楚是怎么回事，雪亮的大刀片，已向头上砍来，一下就呜呼哀哉，去见阎王爷去了。
张自忠亲临前线指挥，师长、旅长、团长带着战士冲在前面。五十九军官兵们一个个如下山猛虎，勇不可挡，杀声震天，打得敌人晕头转向，手足失措，日军一名联队长当场被我军击毙。日军抵挡不住五十九军的猛烈攻势，尸横遍野，只好丢弃阵地，仓皇而逃，在途中又遭我伏兵团的伏击，丢盔弃甲，溃不成军，逃至老曹集。
五十九军向淮河北岸的日军，发动了全线攻击，一路鏖战，势如破竹。20日又攻占了淮河北岸防御要地小蚌埠。
敌军经五天来的连续打击，伤亡惨重，淮河北岸的日寇，几被全歼，残部只能惶惶如丧家之犬，急急如漏网之鱼般地逃回淮河南岸。
这一仗，全歼日军一个旅团，死伤敌人2500余人，缴获大量军事物资，毙敌联队长一名。日军被迫放弃已占领的淮河北岸阵地，退守淮河南岸，使淮河战局基本稳定下来。
日军南路受阻，其南北夹攻徐州，打通南北使之融为一体的计划受阻，未能得以实现。
这是张自忠回到五十九军以来，打的第一仗，也是五十九军建军以来，取得的第一仗胜利，胜得酣畅淋漓。是这支抗日名军，从喜峰口、罗文峪以来难得的大捷。
淝水之战胜利，让张自忠在用实际行动向国人表白自己的冤屈无辜，迈出了坚定的一步。使五十九军全体将士的士气与信心大受鼓舞。
淝水之战获胜，正如冯玉祥先生评价：“徐州以来一战，克复小蚌埠，声威大振，不但救援了友军，而且也振作了一般部队的士气。”
抗战以来，日军除了在卢沟桥等少数地方受到中国军队有力的阻击外，多数时候，都有点势如破竹的样子。许多中国军队，因为日军武器装备远远比中国军队精良，日本军队的“武士道”精神悍不畏死的声名在外，使不少中国军队闻名丧胆，不敢同日军作正面对抗，一触即溃。例如山东的韩复榘，在张自忠潜离北平，脱出虎口，辗转来到济南时，他还大言炎炎地说张自忠：“我抗我的日，他当他的汉奸，来见我作甚！”可就是这位自诩为“我抗我的日”的抗日“英雄”，当日军攻来时，他不是就来了个不打自溃吗！还没有打一枪，就把黄河天险拱手让给了日本鬼子，使得预定的中国军队防御计划被打乱而陷于被动。
淝水之战五十九军的大胜，又一次粉碎了日军不可战胜的神话，证明中国军队虽然装备上处于劣势，但是只要经过严格而结合实际的训练，一支训练有素的军队，再加上为了国家、民族和人民而不惜献身，勇往直前的精神，不但可以具有和日军对抗的能力，而且可以战而胜之。关键在于敢不敢于和肯不肯于和日军拼个你死我活。关键在于指挥这支军队的长官是真心抗日，或是口头抗日，这支军队是真心抗日，或是假意抗日。正如张自忠同他的师、旅长说的：“只要训练得法，中国军队是能打仗的，如果再加上必胜的信心和不怕牺牲的精神，就可以同鬼子比个高低。”
淝水之战告捷，整个五十九军都感到喜悦，张自忠也感到高兴，一扫几年来，尤其是平津以来的心中郁闷。但他在兴奋之余，也感到不足。
五十九军是一支能征善战的队伍，他自己是一员勇将不说，他的两个师长黄维纲、刘振三，几个旅长董升堂、张宗衡、祁光远、李致远、李金镇……一个个都是勇将，但是他总觉得还有所不足，不足在什么地方？在于得力的参谋人才是很重要的。淝水之战虽然胜利了，但张自忠却因为身边缺少一位有头脑的参谋长的襄助，倍感不便。
淝水之战结束后，他想尽快地把五十九军这个不足弥补起来。于是他写了一封信，叫来副官廖保贞道：“你马上去一趟武汉，把这封信亲自送到冯先生手中。”
廖保贞拿着信去了武汉。廖保贞走后，张自忠又给鹿钟麟去了一份电报。
廖保贞到了武汉，来见冯玉祥。第六战区撤销以后，冯玉祥回到南京，南京失守，冯玉祥又随南京国民政府迁来武汉。
冯玉祥听说张自忠从前线派人前来见他，便出来见廖保贞。
廖保贞见了冯玉祥，立正向冯玉祥敬了一个礼。冯玉祥指着侧面的椅子道：“你坐下来说吧。”
廖保贞仍站着不敢坐下，冯玉祥摆摆手道：“我现在已经不带兵了，也不必要按军中的规矩办事，你还是坐下来慢慢讲吧。”
原来西北军的老规矩，不管哪一个高级将领见到冯玉祥，都得立正回话，是不能坐的。冯玉祥再次如此说，廖保贞这才敢坐了下来。
“你们军长现在怎么样？还好吗？”
“报告冯先生，军长现在很好，回到军队以后，他心头的疙瘩解开了，心情也比在南京时开朗多了，身体也好起来了。”
冯玉祥道：“那就好。你们这次打了一个胜仗，你回去跟你们军长说，我向他表示祝贺。”
廖保贞：“是，卑职一定把冯先生的话带到。军长对冯先生作为老长官对他的关怀，时刻都没忘怀。这次职奉军长之命来见冯先生，黄师长、刘师长和各位旅长都让我带信问候您好呢！”
冯玉祥满意地：“谢谢，谢谢他们心中还有我这个老长官。你这次奉你们军长之命来见我，有什么事吧？”
廖保贞：“军长给冯先生写了一封信，要属下专程送呈给冯先生。”说着从身边取出信来，双手呈了过去。
冯玉祥打开信读了下去。读完信尚未说话，鹿钟麟从外面走了进来，手里拿着一张纸片。
廖保贞站起身来，立正向鹿钟麟敬了一个礼。
鹿还了礼道：“啊！你是从张自忠那里专程赶来的吧？”
“是。”廖保贞道。
“好，你先坐下。”鹿钟麟走到冯玉祥身边，把手中那张纸递给冯玉祥：“荩忱给我发了个电报来。”
冯玉祥：“哦！他专门派廖保贞给我送了封信来哩。”顺手也把信递给了鹿。
张自忠给冯玉祥的信，除了汇报淝水之战的经过外，还有问候冯玉祥，并感谢他在重返部队问题上给予的大力支持，最关键的却是请求冯玉祥能允准张克侠到五十九军担任参谋长一职。张自忠给鹿钟麟的电报，是请鹿钟麟从旁促成张克侠到五十九军担任军参谋长，襄助张自忠。
冯玉祥看完电报后道：“荩忱怕我不放树棠，所以又发电报要你来劝我。”
鹿钟麟道：“先生的意思是同意让树棠去五十九军？”
冯玉祥：“五十九军是承袭咱西北军一脉，荩忱也是咱同甘苦的袍泽弟兄。不过，去与不去，还得由张克侠自己决定。”
“那好，就叫人把树棠找来，问问他个人意见如何？”
冯玉祥点点头：“好的。”
当下命卫士去请张克侠。
张克侠原来在西北军时就在张自忠部担任参谋长。“七七”事变后，张克侠先后出任第六战区高参、副参谋长。第六战区撤销以后，他就留在冯玉祥身边工作。南京失守后，他又随冯玉祥迁来武汉。
张克侠来了以后，向冯玉祥、鹿钟麟2人敬礼。廖保贞了向张克侠敬了礼。
冯玉祥说道：“把你找来，主要是为这么一件事，荩忱给我们两人来信来电，想请你到五十九军担任参谋长一职，所以特请你来，看看你个人的意见怎么样？”
张克侠道：“荩忱在前线抗击日寇，正是用人之际，好男儿定当为国效力。军人为报效祖国，当马革裹尸，正其时矣！我与荩忱共事多年，互相信任，于公于私我都应该尽力襄助于他。希望先生能够支持成全。”
冯玉祥：“我们两人刚才商量，征求你的意见，以你的意见为主，你愿意去五十九军襄助荩忱，我们当然支持。”
鹿钟麟：“你打算什么时候走？”
张克侠：“前线战斗正紧，我回去简单收拾一下，明天便和廖老弟北上。”
冯玉祥：“那好，今天晚上我们为你饯行，以壮行色。”
2月底，张克侠重返张自忠部作参谋长，使五十九军指挥核心得到加强。
张克侠头脑冷静，思维敏捷，足智多谋，与勇猛果断、长于实干的张自忠配合，真可谓珠联璧合，使五十九军如虎添翼，相得益彰。对于五十九军以后在打击日寇侵略的战斗中，发挥了应有的作用。