第一次从军失败了，张自忠回到故乡，但他当兵的心思并没有因为这次失败而灰心丧气。他要再度投军。
他回到临清以后不久，听说师长车震也回来了，他便打点主意去拜访车震，求他为自己再度参军出出主意，想想办法。
转眼已是秋天，张自忠便专程前去拜访车震。
车震自从长沙之役失败，逃出长沙，回到故里。这个老军人，由此而心灰意冷，厌倦了那戎马倥偬、四处征战的生涯，决心从此解甲归田，隐居林下以度后半生。所以他返回故里以后，绝少外出，过着闭门谢客生活。这一天，佣人来报：“老爷，外面有一个年轻人，他说是您的下属，也是您的同乡，特来看望您。”
车震有点奇怪，我的下属，又是同乡，要来看我？会是哪一个呢？他自言自语地说。他问佣人：“你问过没有，他叫什么名字？”
“他说了，他叫张自忠。是唐园的。”
“哦！是他。这小伙子也回来了？他还记得我。好，该见见他。你去把他请进来。”
张自忠被请进客堂，车震从后屋迎了出来。
张自忠一见车震，便立正举手行了个军礼：“师长！”
车震笑道：“是荩臣老弟台呀！这里不是军营，我也不是什么师长了，别来这些俗套。快快请坐。”
张自忠把提来的一盒礼品放在桌上：“没有什么好东西孝敬师长，不成敬意，请师长笑纳。”
车震道：“你看你，这就不成话了。你来看我，我感到高兴得很，还送什么礼！这不显得过分见外了吗。我告诉你，下次来可不许这样了。”
张自忠笑道：“好好，下不为例，下不为例。”
车震看看张自忠点点头道：“你能平安地回归故里，也令我宽心了不少。”
张自忠歉然地：“长沙没有尽到保护好师长之责，自忠十分惭愧。返乡后听说师长平安归来，方才少却了几分愧惭心情。”
车震叹道：“长沙之役，是我从戎带兵以来，最为丧失颜面的一仗，真令人惭愧得无地自容呀。”
张自忠：“胜负乃兵家常事。从古至今，没有百战不怠的全胜将军。当年诸葛武侯都还有街亭之失哩。师长也不必挂在心上，还可以东山再起嘛。”
车震道：“要说长沙之役失利，闹了个全军覆没，到不是我指挥不当，而是当时我没有留意老弟的意见，非义之战必败。我们是不该为袁世凯而战。非义之战，军无斗志，不败为何？这次失败，我已是心灰意冷，对戎马征战已然厌倦，从此只想老归林泉，不再作出山之想了。”
张自忠知道车震的性格也不好深劝，只好说：“师长也不必为此而伤感，能全身而退，平安归来，也就是值得庆贺的了。”
车震：“对，我们应该为我们平安无恙庆贺。不知荩臣老弟此番归来，是当继续完成未来之学业，争取将来的无量前途吧。”
张自忠道：“自忠此来，一是为师长的平安归来祝贺；另一方面，也是想就自忠个人的前途发展，求师长您的臂助哩。”
“哦！求我？我现在无官无兵无权，能帮助老弟台什么？”
张自忠：“自忠仍然想再次从戎投军，不想做书本学问之事。所以特来求教于师长。师长征战多年，军界这方面情况很熟，尚希能够予以指点、引荐。”
车震道：“我对军旅生涯已生厌倦。老弟何以对此却如此眷恋呢？”
张自忠 ：“虽然辛亥革命推翻了清廷帝制，建立了民国。但，目下国家大势仍然没有发生根本变化。国内袁世凯复辟称帝，全国各地纷纷起兵反对。即或袁世凯失败，国内纷乱恐一时也难以平息。国势仍弱，国外列强仍虎视耽耽。在一个时期内，救国、保国主要仍需凭借军事力量，做学问以救国，经济兴国、实业兴国，恐将是较为遥远的事情。所以自忠认为当前我辈青年要报国家，最捷效之法莫若当兵。故自忠从军之志不改。”
车震听了点点头道：“好，你既然有这番志向，又能遇挫而不馁。我十分赞赏，也愿意帮助你。”
车震低头想了下，然后对张自忠道：“那我便争取把你引介给冯玉祥，到他的部队里去吧。”
“师长能不能把冯玉祥将军的情况给我讲讲？”张自忠道。
车震：“当然可以。这冯玉祥同我是把兄弟。”
车震向张自忠介绍了冯玉祥的情况。
冯玉祥字焕章，原籍安徽巢县，1882年出生于直隶（河北）青县。他自幼因家境所迫，入保定“五营练军”当兵。1902年投袁世凯的新军五队。由于他勤奋好学、埋头苦干，逐步在新军中崭露头角。1910年升任第二十镇管带。此后，历任左路备补军营长、京卫军团长，治军才能得到充分施展。
他按照自行制定的标准招募的新兵，大多身材高大，体格强壮，作风淳朴，能吃苦耐劳，并易于接受组织和训练。他打破当时军队一般因循敷衍的陈规，创造了独具特色的训练方法，培养了一批能征善战的青年军官。
1914年，冯玉祥部扩编为第十六混成旅，总兵力约5000余人。手下有张之江、鹿钟麟、张维玺等一批能征战的青年军官。
车震认为，根据张自忠的情况，能够到冯玉祥的第十六混成旅去历练一个时候，一定能成为一名好军人，是大有发展前途的。但最后对张自忠说：“第十六混成旅听说现驻扎在廊坊。你稍候几天，等我把家里一些事情处理完了，可能还有事去一趟天津。到时你同我一道去见焕章贤弟。我要当面把你推荐给他。我想他会卖我的面子，答应收下你的。”
张自忠听了自然是高兴不已。
1916年9 月，车震因事去天津，果然便带着张自忠一道，顺道去廊坊见冯玉祥。
冯玉祥得护兵禀报说车震前来拜望于他，很是高兴，忙把车震请了进去。
冯玉祥一见车震，忙迎了进来，两双大手紧紧握在一起。
“车大哥，可想煞兄弟了。”冯玉祥爽朗地笑道。
“我也很惦念贤弟，所以这次来天津办点事儿，特地前来看望你。”车震晃着冯玉祥的手道。
“长沙一役，兄弟听说大哥败在赵恒惕之手，到令小弟耽心了一阵子，后来打听到大哥已平安返回山东，这才放下心来。本来应该到临清去向大哥问安，无奈是人在江湖，身不由己。这个还得请大哥谅宥了。”
“贤弟军务忙，这个大家都经历过。哥哥我省得，不存在什么‘谅宥’二字。”
“现在看到大哥身体健朗，兄弟也就放心了。”
“贤弟你现在可更加精神了，看得出来吾弟是春风得意。愚兄也是高兴得很。”
“大哥今后有何打算？是否还想东山再起呢？”冯玉祥问道。
车震：“长沙之役，愚兄身心俱疲，心灰意冷，对于戎马生涯，四处征战已感厌倦。我反复思虑良久，已决定从此再不涉及军旅之事，决心解甲归田，隐居林下，纵情山水田园，以娱余生足矣。不再作东山再起之想了。”
“大哥不想重振旗鼓，再现雄风，小弟不免感到有些可惜。不过这事兄弟也不会勉强劝哥哥出山。大哥这样决定，到也焉知非福。那小弟也就祝愿大哥得以安享清福，健康如意吉祥了。”冯玉祥道。
“谢谢贤弟吉言，我也祝你鹏程万里，威震华夏，前程远大吧。”
“大哥此来，一定在小弟营中多住几天，让我们兄弟俩好好聚聚。”冯玉祥道。
“我恐怕不能在这里多耽搁，一来我还有事到天津去办，事完后尚得赶回家去。我来贤弟这里，一是我们弟兄多时不见，特来问候，一叙手足之情；二来我也特地带了一个人来推荐给你。”
车震这才唤过张自忠：“我来介绍一下。荩臣，这便是我给你说过的我的把兄弟，第十六混成旅冯玉祥旅长。”
张自忠立正，向冯玉祥行了一个军礼：“冯旅长。”
车震对冯玉祥说道：“贤弟，他叫张自忠，字荩臣，也是山东临清人，是我的同乡。前年我在奉天新民村时，他从家乡前来投奔我，要求投军。在长沙时，他曾在哥哥我的师部任过参谋。长沙之役失败，他也回到临清老家，但他立志从戎投军初衷不改，所以我想到了贤弟，这次特领他前来，向贤弟推荐。据愚兄阅历之考查，荩臣老弟只要加以好好历练、磨砺，今后会成为一个出类拨萃的出色军人的。”
接着车震便把张自忠投军的经过和表现，向冯玉祥作了详尽的介绍。最后说道：“像荩臣老弟这样出身富裕家庭，又在山东省法政专门学校读过书的这么一个优裕环境的知识青年，能够这样吃苦耐劳，不是具有大恒心、毅力的人，是作不到的。所以以愚兄的阅人眼光，荩臣老弟如得贤弟栽培，今后一定前途无量。”
冯玉祥上下认真地打量着张自忠，那眼光如同在审视一块出土的璞。他见张自忠长得浓眉大眼，国字脸膛，眉宇间勃勃英气，身材健壮魁伟，虎背熊腰，给人一种沉稳刚毅、不可撼动之感。他听着车震的介绍，看着眼前这青年人，满意地露出了笑容。
待到车震讲完以后，他没有马上表态是否收下张自忠，而是问张自忠：“老弟家庭环境如此富裕，又是正在做学问的秀才，为什么还要来穿这一身‘二尺五’呢？”
张自忠简捷地答道：“在现在的国势下，自忠认为从军是报效国家最直捷而有效的途径。做学问以救国，那是将来的事，所以我选择了这一条当兵之路。”
冯玉祥满意地点头，这才回头对车震道：“好！大哥推荐的这个张自忠，小弟收下了。”
车震和张自忠听见了都感到高兴，好像一块石头，从心中放了下来。
冯玉祥突然又问张自忠：“你字荩臣，这个‘臣’字可是君臣的‘臣’？”
张自忠恭敬地回答道：“是的，是君臣的‘臣’字。”
冯玉祥摇头道：“这个‘臣’字不好。我们现在已是民国，还讲什么君臣。把你那个‘荩臣’，不如改为‘荩忱’，竭忱以待之‘忱’。《诗经·大雅·大明》有‘天难忱斯，不易维王。’《诗经·汤浩》还有‘上克时忱，用亦有终。’这个‘忱’字有忠诚、信赖的意思，比你那个君臣的‘臣’好得多。如何？”张自忠听了，肃然应道：“旅长这个‘忱’字改得太好了。自忠当然遵从。”
从此，张自忠的字便改成了“荩忱”。
看来，这冯玉祥虽然幼时家境贫寒，行伍出身，书还读得不少哩。
据说他对带有封建色彩的名字都反对，所以他手下的官兵，姓名中凡带有君臣、富贵、荣华、福泰等字眼，他都要亲自为之更改。如团长孙良臣改为孙良诚；冯治台改为冯治安；池凤臣改为池峰诚等。冯玉祥收下了张自忠。张自忠从戎的愿望，终于得以实现了。入伍以后，张自忠被委任为中尉差遣。差遣，在当时是军队中一种编外附员，是要随初级官长班见习一段时间才能正式就任军官，所以又称为“见习官”。
不久，张自忠由见习官升任排长，连长是后来颇有名气的“倒戈将军”石友三。
1917年7月，段祺瑞为推行武力统一政策，派兵入川、湘两省征伐南军，却连遭败绩，乃命令第十六混成旅前往湖南增援。
冯玉祥不愿同南军开战，率所部到达江苏浦口，便借故停兵不进，在就地练起兵来。
在浦口期间，冯玉祥特别主持编写了一本《战地一补》小册子，发给全军官兵。这个小册子内容多系历史上的故事，如苏秦发奋刺股、田单守即墨、周亚夫细柳营等等。用意在于培养官兵勤奋学习、英勇无畏、机智灵活的精神。张自忠对这些古代名士、将领的风采，十分心仪。
第十六混成旅在段祺瑞的不断催促下，于1918年2月方离开江苏入湘，到7月才抵达常德。
在常德，冯玉祥又对部队进行了大规模的系统训练。
石敬亭、门致中前来投奔冯玉祥。这两人后来成为西北军的高级将领。其中石敬亭对张自忠的成长有较深的影响。
为了配合训练，冯玉祥还责成、组织人编印了几种精神教育的书籍，诸如《军人读本》、《精神书》、《义勇小史》、《告往勖来篇》和《国耻歌》等，令官兵阅读、讲解、背诵，连以上军官，由冯玉祥亲自考查。有时他还亲自给官兵们讲精神教育课和军事理论课，讲军纪，讲爱国精神，讲孙子兵法；有时也讲古代侠客故事。还成立英文班、日文班，组织军官学习，目的在于使军官们了解和阅读外国军事书籍。这次军事训练很系统，分“学”、“术”两科，“学”是指系统的军事理论学习和精神教育；“术”指体能和技术训练，主要项目有射击、体操、障碍跑、荷枪行军、劈剌、刀术、拳击等。这对于张自忠后来治军具有深刻的影响。
1918年9月，冯玉祥为增进初级军官的军事知识和技能，在常德设立军官教导团，以炮兵团长鹿钟麟兼任团长，刘郁芬、石敬亭、刘骥、门致中等任教官，内分军官和士兵两个队。次年初，张自忠奉派入教导团军官队学习。张自忠十分珍惜这次学习机会，学习勤勉刻苦，加上他文化基础好，所以每次考试，成绩都是名列前茅。鹿钟麟对他十分赏识，将他树为“标准团员”。所以后来冯玉祥评价张自忠说：“在教导团中，他又作了一个标准团员，当时鹿钟麟团长非常夸奖他，他非常勤学，对人处事都极其真诚友爱，又能刻苦耐劳，这时便显出他未来一定是个将才。”
在教导团学习半年，结业后恰逢第十六混成旅扩编新兵团。张自忠升任该团第二营第五连连长。新兵团团长是张维玺，佟麟阁为第二营营长。
为便于训练，招来的新兵，均按其文化程度分别编连。张自忠和第五连，全系由投军的学生组成，所以又叫学兵连。他这个连有120余人。
这期间，张自忠曾一度调任上尉副官，又调任水上陆战队第三队队长，驻河洑训练新兵。这水上陆战队实际上是沅江上的水上警察。张自忠不愿干这种非正规部队，又要求经冯玉祥同意，重回学兵连当连长。
第十六混成旅在常德驻防两年。冯玉祥治军很严，不准部队骚扰百姓，所以军民关系十分融洽，整军、练兵取得很大成效。这对这支部队日后的发展奠定了基础。
1920年，作为南军的谭延闿、赵恒惕等部攻占了长沙，敦促冯部离开湖南。这年7月，第十六混成旅向北撤入湖北，驻谌家矶。
由于皖系扣发军饷，部队给养困难，一度陷入困境，全旅官兵，每日只能以少许杂粮和盐水免强度日。
这一天，张自忠接到七弟张自明的家书，讲述家乡山东今年大旱，赤地千里，饥民遍野等悲惨景况。这封信，使张自忠忘却了自己亦在身处饥饿的困境，立即回书给七弟自明：
“……望弟尽家中力所能及赈济贫民，须知善无大小，能救一人，即有一人之功，能济一村，即有一村之善，勿乘人之危机以谋私利，勿籍公家之权力以济己私。当此饥馑之年，正我辈为善之日也。望我弟努力为之，勿以无力自馁也。闻上海广仁堂派委到临（清）馆（陶）一带放赈。吴越之人尚能见义勇为，况我桑梓之地，遇此凶年，何忍坐视不救。”
这个时期，冯玉祥将张自忠已训练有素的120名学兵拨给工兵营，另从河南、山东、安徽招募了一批学生，组成学兵队，直属旅部，冯治安任队长，下属两个连，第一连由冯治安兼任连长，第二连张自忠任连长。
冯治安比张自忠小五岁，待人诙谐风趣，而张自忠则显得刚毅寡言。两人姓格形成鲜明对比。但两人却配合默契，相知很厚。
张自忠训练新兵要求很严格，往往是在训练场上亲自示范，在修马路、挖壕沟等一切劳务中，他都与全连士兵一起干。这时给养困难，他和三个排长、一个司务长和一个文书，与士兵一起，同样吃粗米饭就盐水，绝不例外。他十分注重军纪，遇有违犯者，初犯则说服教育，再犯则严厉训斥，仍不改则军棍重责。故尔士兵中流传一道歌谣：“教你学好不学好，鸭嘴军棍挨上了。”
三个月后，第二连在全旅军事考核中夺得第一，成为全旅模范连。他这全连126名士兵，后来几乎人人成才，仅军、师长就各出了5个。即：军长刘振三、刘汝珍、张人杰、李九思、吴化文；师长展书堂、王志远、安克敏、宋铁林、张国武等。旅长有李志远、葛开祥、彭秉信、孙厚禄、李继成、季振同、魏书琴、王丕襄等八人，至于团、营长就更多了。
这个时候，国内的政治、军事形势在不断地变化着。袁世凯死后。中国陷入一片军阀混战中。大大小小的军阀，为争夺地盘而相互征战。除却孙中山以广东为根基的一股革命力量外，最主要的军阀力量是直系、皖系、奉系。
直、皖两系军阀为争夺中央权力，发生中国近代史是有名的直皖大战。直系军阀曹锟、吴佩孚最终取胜，掌握了北京政权。
随后他们为进一步能控制全国，就要排除异己，将属于皖系的陕西督军陈树藩免职，任命第二十师师长阎相文为陕西督军。可是陈树藩却抗命不从。曹锟遂命阎相文率第二十师、第七师和冯玉祥的第十六混成放入陕以武力接收。
这样一来，冯玉祥部的军饷来源，总算得到了解决。
1921年2月，第十六混成旅进驻阌乡、灵宝，取道渑池、陕州入潼关，连点皆捷，陈树藩败逃陕西。
北京政府同意第十六混成旅于8月5日扩编为第十一师，兵力达3．5万人。
不久阎相文因兵饷无着，服毒自杀，冯玉祥继任陕西督军。乃组建卫队团，团长由冯玉祥自兼，下辖三个营，张自忠任第三营营长，辖4个连。
在西安，张自忠这期间还奉命具体负责了陕西新督军署的修建（因冯玉祥不愿入住旧督军署，改在旧皇城废墟上重建）。自立更生，张自忠从实践中又获得了实实在在的本领。新建成的督军署虽然像座兵营，但冯玉祥却很满意。而后张自忠自己带兵，碰上修建房屋，都是自己动手，从不愿请专人。
1922年春，在直皖大战以后，中国大地上又掀起了北方大战，这便是直奉大战。在直皖大战后，奉系军阀势力得到进一步扩张，与直系势力形成对峙，终于发生了一场兵戎相见地决战。这场战争在河北北部爆发。
吴佩孚急调第十一师东下驰援，并任命冯玉祥为后方总司令。
冯玉祥率部到达郑州。当时河南省督军是赵倜。赵倜他表面上是支持直系的，但暗地里却与奉系勾结。1922年5月5日，赵倜派兵偷袭郑州。
第十一师便和赵军展开了激战。赵军有三个师的兵力，数倍于冯，但第十一师是经过严格有素训练之师，所以作战勇敢，士气高昂。冯玉祥亲自指挥了这次战斗。张自忠的卫队团第三营和李向寅的第一营护卫于冯的左右。
双方激战三日，到8月6日，赵军已呈不支败像，冯玉祥把握住这一时机，命令张自忠、李向寅两营精锐兵力，向敌军发起猛烈冲锋，冲锋号声一起，这两营士兵，在张自忠、李向寅两位营长率领下，一个个如出山猛虎，向赵军阵地猛扑过去。赵军顿时如汤沃雪，溃不成军，被彻底地打垮了。
张自忠营有一名副班长李致远，在战斗中表现勇敢，战后将缴获的一支步枪、一块怀表和三十块大洋主动交公。这在当时军队中是少有的新鲜事。冯玉祥为树立“缴获归公”的好风气，特在全军通报嘉奖，并破格将李致远提升为排长。全军上下皆知“拾金不昧的李致远。李后来升至旅长，成为张自忠的重要部将。这是后话不提。
这场直奉大战，最后还是直系获胜。奉系张作霖退回东北。
论功行赏，5月10日，冯玉祥被任命为河南督军。张自忠随冯玉祥移驻开封。
按照冯玉祥的规定，营以上军官，可以允许携带家属随军。这时局面稍为稳定，开封距山东亦不远，张自忠便写信把夫人李敏慧和长子廉珍（12岁）、次子廉静（五岁）接来开封，全家团聚。从此以后，他们夫妇便聚在一起，辗转各地。
冯玉祥就任河南省督军后，利用这个大好时机招募新兵，很快编成三个旅，使自己的兵力扩充成5个旅，总兵力达五万人。第二十一旅旅长刘郁芬，第二十二旅旅长鹿钟麟，第七混成旅旅长张之江，第八混成旅旅长李鸣钟，第二十五混成旅旅长宋哲元。别外还新编了两个补充团、一个学兵团。两个补充团团长为佟麟阁、门致中，每团2000人。
学兵团团长冯玉祥自兼，第一营营长张自忠，第二营营长张凌云。因为张自忠在全军练兵有相当名气，但因资望不够，冯玉祥因军务繁忙，便责成张自忠以第一营营长名义兼管全团训练。实际上全团事务均由张自忠具体负责。
1922年10月，冯玉祥因忤吴佩孚，吴佩孚对冯玉祥不满，免去了他河南省督军职务，调北京任陆军检阅使，这实际上是有职无权的闲差。
11月冯玉祥抵北京，驻南苑、通州。这到给了冯玉祥一次专心练兵的机会。南苑练兵成为冯部常德练兵的又一个黄金时期。
学兵团始驻北京，后移驻南苑，石敬亭为团长。
张自忠在石敬亭的领导下，全副精力抓紧练兵，使学兵团成为训练有素、军纪严明、富有生气的模范部队。石敬亭十分欣赏张的治军能力，并与他结拜为把兄弟。
张自忠开始治军以严，后来通过实际，使他认识到仅靠严还是不够的，应该宽严结合，恩威并重，方能收到最好的效果。无恩而威，一味严惩，只能徒增怨恨。官长与士兵要同甘共苦，生死与共，才能带出一支百战而不殆的部队。
1924年，张自忠被升为学兵团团长。他觉得自己才能、资望不够，上书恳辞而不准。只得就任。第一营营长为鲁崇义，第二营营长为吴宝善。张自忠肩上的担子更加重了起来。
有一天，张自忠正在操场为士兵们作步枪劈剌示范，一个冯玉祥的护兵前来找他：“张团长，师长请你去一趟。”
张自忠立即随护兵来见冯玉祥。见了冯玉祥，他便立正行了个礼：“报告师长，学兵团团长张自忠，奉命赶到。不知师长有何训示？”
冯玉祥摆摆手“荩忱来了，你先坐下，我正有一件重要的事要你去办哩。”
张自忠：“什么事，请师长指示，自忠坚决完成任务。”冯玉祥待张自忠坐下后方才说道：“事情是这样的，去年永定河因雨季到来，连降大雨，造成河水上涨，洪水泛滥，丰台西南段决口，给当地百姓生命财产造成巨大损失。今年眼看雨季很快又要来到，这段河道如不整治，因去年洪水而淤积，洪水一来，势必又会给百姓带来灾害。所以我请了专家来进行规划设计，打算将旧河床疏浚，使河水回归故道，免除洪水之患，也算是造福一方百姓。所以特地把你叫来，想把这个任务交给你们学兵团去完成。你觉得如何？”
张自忠起身立正道：“学兵团保证一定完成任务。”
冯玉祥：“这次工程必须争取在春泛到来之前完成，时间短，任务重。你们有把握吗？”
张自忠斩钉截铁地：“我们坚决按时在春泛前完成。”
冯玉祥：“那好，这个任务就交给你们学兵团了，你和专家好好研究一下设计规划，商量一下施工方案，回去立即率领全团，开赴丰台施工现场，在专家的指导下进行施工，争取春泛前完成疏滩工程，让老百姓不再受洪水之灾。！
“是，”张自忠应道。
在赶回驻地后，张自忠立即召集连、排以上军官，传答了冯玉祥的命令，然后全团集合，简短地作了动员。立即开拨到丰台永定河畔，搭起简易帐篷，马上投入施工，开始了艰苦的劳动。
这时恰好是春节刚过不久，在北方，正是春寒料峭，冰雪尚未消融，土地亦未完全解冻，碰上那冻土层，一镐下去，就只是一道白印。去年洪水决堤，故道泥沙淤积，变成一片沼泽，泥泞不堪。一脚踩下去，泥水陷至滕盖，水寒剌骨，没有长靴，士兵们只能赤脚踩在这如烂泥塘里施工。干不了两个时辰，脚便冻得麻木没有知觉了。只好上来烤烤火，喝上几口烧刀子，等暖和过来了再跳下去干。
工具除了铁锹、十字锹、条筐、扁担外，连运土的手推车都找不到几部，全靠肩挑背扛。
为了赶工程进度，张自忠把全团官兵，分成三个班，昼夜不停地干 。他带领全团官兵，和士兵们一起，在工地上一起干一起吃。
张自忠除了在整个工地上往来捡查、指挥，进行督导外，也和士兵们一起挖土、抬筐，手打起了泡，磨破了皮，肩上也肿了，他都不在意。
他的亲自带头苦干，这在当时社会，是根本不可能的事。但张自忠这个团长，却带领全团军官这样作了。一个团长，身先士卒，令全团官兵深受感动，更受鼓舞，干起来人人争先，劲头十足，工程进度很快。看来整个工程能够在春泛到来之前应该是没有多大问题的了。
这一带的老百姓，得知学兵团官兵在此疏浚河道，是为了他们能够安居乐业，在今年起不再受洪水危害后，也十分感动。经常有自动送来面粉、蔬菜、红枣、鸡蛋等物品前来慰问，端茶送水，更是临近村庄那些老太太、小姑娘的经常事。还有些大嫂子、大姑娘们跑到工地上来，帮助官兵们洗涤换下来的脏衣服。出现了一种少有军民十分融洽的景象。
正当工程进展十分顺利的时候，突然一个意外的情况发生了。
正在这施工紧张的阶段，老天爷竟然不作美地下起雨来。这一下就是好几天。张自忠得报，说永定河上游下的很大。这意味着什么？意味着今年春泛可能会提前，而且这场雨，弄得不好马上就会有一峰洪水就要经过施工地段。
张自忠立即紧急下令，要全团官兵紧急行动，加快工程进度，注意水位，防止洪水突然来到，以致溃堤而让洪水冲毁工程，冲毁农田、村落，为附近村庄百姓造成灾害。
为了防止万一出现险情，在危险地段，还准备了大量石块、装满沙土的麻袋等抡险物资。张自忠穿着雨具，日夜泡在工地上指挥着，察看水位，察看险情。
雨还在淅淅沥沥地不停地下着，永定河的河水还在一寸一寸地往上涨着。
张自忠的眼睛熬红了，眼圈变黑了，国字脸变瘦变长了，那宏浑的嗓音也变得嘶哑了。官兵们怕自己的团长累病了，都再三劝他回帐篷里去歇歇，可都被他一口拒绝：“在这节骨眼上，我也睡不着。”
洪峰突然来了。那河中浊浪滔滔，浪头一个一个地如疯狂的猛兽撞击着堤岸。平时看似文静的永定河，这时变得十分狂野。
在这种十分危急的情况下，张自忠立即命令号兵吹响紧急集合号。正在换班休息的所有官兵齐上工地。命令一部分人紧急挖掘导水沟，以便导流洪水，自己却带着一部分官兵，前去堵住水头。可是水势太猛，丢下去的石块和沙袋，刚一丢下去，那洪水就像一头贪婪的猛兽，大口一张，便吞没了，冲的个无影无踪。如果让洪水一旦冲垮这隔挡洪水的土堤，那辛苦这些时日的工程将前功尽弃，而洪水还将冲毁田野庄稼，吞没村落房舍，百姓遭灾……后果堪虞。
眼看土堤已是禁不住洪水的冲击，很快便要被冲坍。在这紧急关头，张自忠一下跳入水中，振臂高声喊道：“弟兄们，我们就是用我们的身体，也要护住这土堤，不让洪水把它冲垮！用我们的身体，也要把洪水堵住。大家上呀！”
他边喊边冲上去，用自己那有力的背臂，去隔断洪水对土堤的冲击。官兵们看见团长这样，也一个个争先恐后地跳进了水中，大家胳膀挽着胳膀，肩并肩地组成了一道长长人堤，紧紧地护在那土堤与洪水之间，用他们钢铁般的脊背，扛住了洪水巨浪那一次又一次的冲击。洪水发出轰轰雷鸣般的咆哮，一次又一次地撞向人堤……
人堤岿然不动，土堤在颤动，大地在颤动，浑浊的洪水，夹着泥沙，漫上每个人的头，泥水顺着人们的头上流下，流进眼里，流进嘴里，一股泥腥味令人欲呕，他们腾不出手来抹去这些泥水。冰冷的水，冲刷着他们的脊背，浑身精湿的学兵团官兵们，冻得嘴唇发青，全身发抖。但他们却和张自忠团长紧紧地臂挽着臂站在水中，站在一起，屹立着一动不动。
他们面前的土堤，由于有这些无畏的官兵们钢铁般的身体支称着，在洪水的冲击下，也自岿然不动。
风仍在无情的吹，雨仍在无情的下；人和洪水的搏斗仍在继续着。突然远处人声鼎沸，锣鼓声大作。这附近的村民，闻讯都赶来了。那青壮年，也跳了下来，和官兵一起，扎起人墙来阻挡洪水，年龄稍大的男人和妇女们也拿起铁锨、锄头，帮着官兵们开挖导水沟。
经过几个小时的激战，导水沟终于挖通了，几锄挖开了一个口子，洪水哗地一下，冲开决口，顺着导水沟流了下去。有了宣泄的渠道，那凶猛如野兽般的洪水，一下变得驯服了，乖乖地顺沟流去。
防护工地的土堤安然无恙，工地安然无恙，附近的村落、田野也安然无恙。人们欢呼着战胜洪水的胜利。
张自忠和跳入水中护堤的官兵们，拖着冻僵的腿爬上岸来，一个个都变成了泥人。妇女和孩子们忙端来一碗碗滚烫的姜汤，让官兵们心中感到了无比的温暖。
一个须发皆白的老人，拉着张自忠的手，激动得泪水顺腮而下：“谢谢长官，谢谢弟兄们。今天要不是你们，我们这附近的几个村子，又该遭劫了啊！”
工地保住了，在下一次大水到来之前，他们终于疏浚通了这一段永定河的旧河道。使滔滔如脱缰野马的永定河，乖乖地回归故道，安稳地向下流去。附近的村庄、田园，不会再受洪水的危害了。