反蒋联军失败后，北方的冀、察、绥、甘、陕、宁、青等省都被蒋介石和张学良的军队所占领和控制，山东在以前已为韩复榘所盘踞。这样一来，山西便成了反蒋的北方最后一块地盘，所以不甘投蒋的西北军将领都纷纷渡过黄河，进入山西。
1930年10月，张自忠部进入山西，先驻晋城，后移曲沃。
进入晋南的西北军还有刘汝明、魏凤楼、韩多峰、张仁杰、鲍刚、张遂印、童玉振、过之纲、庞炳勋、孙殿英、孙良诚、刘骥、秦纯德等。此后，宋哲元也率吕秀文、赵登禹、张维藩等人入晋。各部共六、七万人，分驻晋城、曲沃、运城、闻喜、安邑等地。就地筹集粮饷，免强维持。因群龙无首，互不相属，粮饷、装备都很困难，处境维艰。
张自忠的第六师，在这些残部中，尚是编制整齐、装备较好，训练有素，是其中的劲旅。第六师的去从成为西北军关注之焦点。
几经磋商均未有结果，冯玉祥最后因许多将领由于两次反蒋失败已不愿再追随他而失望，11月4日，通电下野，隐居汾阳峪道河。
除了冯玉祥外，西北军入晋将领以宋哲元资望最高，在冯玉祥已不能掌握部队的情况下，宋哲元决心出面收拾残局，乃派人同各方面联络。
11月中旬，因国民党三届四中全会在南京召开，新任陆海空军副司令张学良出席了会议。关于北方军事善后问题，蒋介石决定将晋军及西北军改编为边防军，由张学良负责改编，并归其节制。
驻扎在曲沃的张自忠，这天突然有人前来拜访他。
这位客人见到他以后，拿出一封介绍函来。张自忠看那介绍函，却原来是驻扎北平的、任南京国民政府陆海空军副总司令、被称为“少帅”的张学良的亲笔信。
来客对张自忠道：“在下是奉少帅之命，特地从北平前来拜访张师长的。”
张自忠道：“少帅令兄台前来见自忠，不知有何训示？”
“这次在南京召开的国民党三届四中全会，少帅出席了，会上决定，这北方各省的军队，晋军和西北军将改编为边防军。北方军队统由咱们少帅负责改编，改编后由少帅指挥节制。西北军经研究，决定编为一个军。少帅的意思，打算任命张师长出任军长，特地命在下前来转达少帅的意思。请张师长考虑答复，以便好正式委任并进行西北军的整编工作。”
张自忠一听，张学良要他出任改编后的西北军军长一职，这到有点出乎他的意料之外。他沉吟了一下说道：“承少帅的错爱，瞧得起自忠，使自忠感到十分荣宠。但兹事体大，现西北军余部尚有约十万之众，原来又不属一个军、师，方方面面的关系也颇为复杂，责任甚重，是否能胜任此重任，故尔此事可容自忠认真思考一下，再容自忠赴北平晋谒少帅，亲自向他报告如何？”
来人道：“这新编军长一职，果然非比寻常，少帅也早估计到你有此请。张师长郑重考虑一下是必要的。但是时间不能过长，希望张师长是否接任此职，能尽快向少帅一个肯定回复。”
张自忠道：“多则半月，少则十日，自忠必定赴北平晋谒少帅复命。”
来人告辞走了。
张自忠觉得这关系太大，决定去天津一趟，就此事征询一下自己的老长官、也是金兰知交的石敬亭，听听他的意见。
他找来张克侠，作了一下安排，便动身去了天津。
石敬亭在倒蒋失败后，就退出西北军，寓居天津。见到张自忠专程来天津看他，很是高兴。
两人寒喧问候后，石敬亭道：“荩忱你从山西曲沃老远跑到天津来看我，一定还有别的事，碰到了拿不准的难题了吧。说吧，说出来我帮你思谋思谋，拿拿主意，”
张自忠道：“你晓得我的脾气，所以一猜便着，我确实碰见一椿事，吃不准，所以来天津除看望你外，就是要你给我定定板该怎么办。”
石敬亭：“说吧，说出来我们俩斟酌，斟酌。”
张自忠便把张学良要改编西北军残部为一个军，要他出任军长的事说给石敬亭听，最后道：“你说，这军长我是当还是不当？”
石敬亭道：“咱俩的交情，我就对你坦诚的说，这个军长你不能当！”
张自忠道：“为什么？”
石敬亭道：“西北军这次倒蒋失败了，40万大军只剩下几万人，这是一个烂摊子，不好收拾。总司令想收拾残局，都有好多人不听他的了。这个烂摊子你收拾得了吗？孙良诚、刘汝明他们的资历都比你老，你带得了他们吗？这些人不听你的，你这军长怎么当呢？”
张自忠：“我也确实并没有想当这个军长，咱们西北军这个残局总要收拾，不然余下的这几万西北军就只能彻底完蛋。你认为谁能收拾这个烂摊子呢？”
石敬亭：“张学良要把现存的西北军整编成一个军，这是西北军得以生存下去的一条路。为今之计，最好把宋明轩请回来。他可以收拾得了这个烂摊子。”
张自忠点头道：“对，他是最合适的人选了，讲资历，讲职务，讲为人，讲战功由他出任军长，有利于收拾残局，巩固这支队伍。”
石敬亭：“这事你可要抓紧，迟则恐生变，那就难办了。”
张自忠站起身来：“好，那我就立即赶回去见张学良，向他推荐宋明轩。”
张自忠匆匆从天津赶回曲沃，又有一个人登门拜访来了。
张自忠接见客人，两人握手大笑。却原来这人是老相识，他就是曾为石友三来向张自忠送金兰谱以求张自忠释嫌的肖振瀛。
张自忠请肖振瀛坐下以后笑道：“肖先生今日来找我，不知替谁人来作说客来了？”
肖振瀛笑道：“荩忱兄是个爽快人也是个精明人，一眼就把兄弟的来意看出来了。”
张自忠道：“这到不是看出来，而是猜出来的。因为那次你替石友三当说客来找我，给我的印象太深刻了。”
肖振瀛：“好吧，我在老兄面前也不转弯磨角，就直接了当地说吧。今天我是替宋明轩作说客来游说荩忱兄的。”
“啊，肖兄是给宋明轩作说客，要我替他作什么事？”
肖振瀛叹了一口气道：“我现在宋明轩处作幕僚，我一直也在西北军里混，也算是西北军的一分子了。西北军落得今日的败落，我也十分难过。可是话又说回来，西北军虽然惨败，但还没有全军复没，还有几万人。不管今后西北军还存不存在，但这几万人还是我们的一个希望，一个复兴的希望。但是要复兴，要重振旗鼓，依目前这样各自为政，一盘散沙是不行的，必须要有一个能孚众望的人出来收拾残局。肖某认为这个人只能是宋明轩。所以我来见你，就是想请你支持宋明轩。如何？”
张自忠道：“好，肖兄不转弯磨角，我也直截了当。你就是今天不来找我，我也会全力支持宋明轩的。一来他是我的老长官，在我受谗最失意的时候他支持了我，让我重新出来工作。我张自忠不是忘恩负义之人，是要知恩图报的。此其一；而最主要的是他的资历、他的人品、他的才干，他的战功与声望，西北军现在只有他出来才能收拾目前这个残局，挽救西北军。基于这上面于公于私两点，我是会支持他的。”
肖振瀛：“那就太好了。有你支持，明轩定能成功。你同我去见见他如何？”
“好！”张自忠爽快地答应了。
他随肖振瀛一道赴太原来见宋哲元。宋哲元和张自忠见面，张自忠表明了拥戴宋的态度。宋哲元信心大增，说：“得到荩忱的支持，我一定能成功的。”
张自忠道：“此事现在还大意不得，孙良诚也在四处活动，许多事我们还得先下手，现在关键在于张学良，这一关必须设法疏通。张学良曾派人来见我，表达了他的意见，根据南京国民党三届四中全会决定，要把我们西北军现存这些部队改编为一个军，改编及今后指挥，都交给张学良。张想让我出来当军长，我答应他我考虑后再回复。他给我至多半个月时间，到时我要到北平去见他。我会力荐你出任军长。但这之前，最好能疏通张学良左右亲近的人，能够向他进言任用你。这样双管齐下，可收预定效果。绝不能让孙良诚占了先机，那就被动了。”
宋哲元点头道：“对，对，我们应立即进行这个工作。”
肖振瀛道：“这事我可以去找张学良的启承官裴某，他和我是同乡，与我私交不错。张学良很信任他。”
秦德纯也道：“张学良手下现任行营办公厅主任鲍文樾和我是相交多年的老朋友，他现在是张学良面前的红人。我也去找他在张学良面前力荐明轩你。”
宋哲元大喜：“那就多多拜托2位了。”
张自忠：“有你们二位在前面疏通，到时我去见张学良力荐，大约应该是有较大的把握了。”
果然肖、秦二人通过张学良身边的红人裴、鲍两人在张学良面前说了不少宋哲元的好话，收到了先入为主的效果。
张自忠得到宋哲元送来的消息，说肖、秦二人已通过裴、鲍作了疏通。他同张学良约定的时间也到了，便动身去见张学良。
张学良闻得张自忠来北平晋谒，十分高兴，便立即在官邸接见了他。
张学良道：“荩忱果是信人，准时来了。”
张自忠道：“人无信不立。更何况在少帅面前，自忠怎敢失信。”
张学良：“那你考虑得怎么样了？可以给我一个满意的答复了吧。”
张自忠：“自忠十分感谢少帅的厚爱。但经过慎重的考虑，自忠自觉德才均不配担这军长重任。所以特来向少帅恳辞。同时也打算向少帅举荐一位可以胜任之人。”
“啊！你认为谁可担此重任呢？”
“自忠向少帅举荐宋哲元。”
“哦，宋哲元，宋明轩。你为什么要举荐宋哲元？请谈谈你的理由。”
张自忠：“宋明轩跟随冯先生多年，从资望上讲，在西北军中可算是元老了，在西北军中具有很高声望；从能力上讲，他曾是冯先生的得力臂膊，被誉为西北军‘五虎上将’之一，战功卓著；更重要的是他的人品，冯先生曾称赞他勇猛沉着，忠实勤勉，遇事不苟，练兵有方。自忠感少帅知遇、器重之德，故尔敢以人格向少帅举荐，军长之职，恐非宋明轩则不可胜任。请少帅审查定夺。”
“好！好！你的话我记下了。我也久闻宋明轩在西北军中的声名，这事我会考虑的。”
张自忠：“为感少帅器重，如果宋明轩出任军长，自忠将全力协助，完成整编任务，以报少帅对自忠知遇之德。”
张学良审视张自忠良久，点头道：“好吧，我答应你的请求和举荐，就让宋哲元出任军长，负责改编西北军各部吧。我想你和宋明轩一定不会让我失望的。”
于是，宋哲元出掌西北军残部的事就算这样敲定了。等到孙良诚派代表郑道儒到北平晋见张学良进行游说时，大局已定，为时已晚。同时张学良也探知孙良诚在西北军中飞扬跋扈，为西北军许多将领所不服，加之现在又无一兵一卒，更难指挥众人。当然不会允其所请，而正式委任宋哲元为军长，进行西北军残部的改编工作。
在张学良委任宋哲元为整编西北军残部的军长以后，宋哲元同张自忠一道，前往峪道河谒见了冯玉祥。
冯玉祥在试图亲自重整西北军失败后，大感失望，便在汾阳峪道河隐居。因为他毕竟是西北军的创始人，宋哲元、张自忠始终对他十分尊敬，仍把他目为西北军的领袖，这次整编，有关西北军的前途命运，他们还是要听听他的意见。所以宋、张二人便来到峪道河。
冯玉祥见宋哲元、张自忠登门来看望他，很是感动，也颇有感慨。三人想起过去西北军的辉煌，而今却烟消云散，不禁都感到有些悲怆。
宋哲元、张自忠便把南京国民党三届四中全会决定，由张学良整编北方军队，现在张学良已定，将西北军编为一个军，已委任宋哲元为军长等情介绍后，说道：“现在西北军保存下来的军队人数，大约尚有五、六万人，现在张学良要把我们编成一个军，我想在目前这种艰难困境下，也算是一条出路，可以保存余下部队的出路，使之得以生存下去。对于咱们西北军重振旗鼓，东山再起，还有一定希望。所以我们二人前来请示总司令。”
冯玉祥苦笑着摇摇手插话道：“我已通电下野，现在已不是什么总司令了。你们就别再喊什么总司令了。直接呼我冯玉祥也可，唤我焕章也可以。”
宋哲元还是以请示的口气最后问道：“我们的整编工作该怎么办为宜？”
冯玉祥想了一下道：“西北军是我冯玉祥一手创立起来的，明轩、荩忱，还有许许多多的人都为西北军的发展作了不少贡献。可它也是我冯玉祥一手毁了。本来对它今后，我也无权干预。但我也要感谢你们在尽力保全西北军的一点‘香火’。你们专程来找我，令我感动，也只能说点参考意见吧。”
冯玉祥停下话头，似乎在整理他的思绪，然后接着说道：“当然，最好的结果是能把这几万人一个不漏、一个不减地全部包下来，看来这个难度也许很大，因蒋介石、张学良只给我们一个军。那就力争能编三个师。军部下辖两个师，另一个为独立师，这样可以保留下来的人数就可多一点。明轩担任这个军的军长是很合适的人选；师长人选，荩忱现在是西北军残部的精锐主力了，人数也最多，而且这次能向张学良推荐明轩出来，应是当然人选。至于另外两位师长，你们觉得谁更为适宜呢？”
张自忠道：“这另一位师长，自忠认为冯治安是合适的人选。”
宋哲元道：“我也以为另一位师长冯治安出任比较合适。”
原来在来见冯玉祥之前，张自忠已向宋哲元力荐冯治安担任师长一职。这是因为一方面虽然冯治安在中原大战中，所部为顾祝同缴械，冯成了光杆司令，只身北返，现寓居北平，但他与张自忠私交甚厚，长期共事，又是换帖的拜把兄弟，特别是在张自忠被免去第二十五师师长后，曾伸援助之手，与宋哲元力让他复职，故张自忠不忘旧情，感恩图报。况冯治安为人正直，也在西北军中算得上一员能将。从哪方面讲，出任师长也是合适的。还有冯也是宋哲元的嫡系将领。宋哲元自然爽快地同意冯治安担任另一位师长了。
冯玉祥道：“治安担任师长，也是合适的，那就由他担任吧。”
宋哲元：“如果要建三个师，这第三位师长我们还没有考虑成熟，准备看与各支兄弟部队联络后，再视情况加以遴选。”
冯玉祥点头道：“也好，那就由你们根椐情况确定吧。”
宋哲元和张自忠从冯玉祥处回来后，便与西北军各部联络，这时分驻于解县、运城等地的刘汝明部也有数千人，苦无出路，经宋相邀，愿意加盟，于是刘成为第三师师长人选。
12月18日，宋哲元应张学良之召去了北平，同张学良商议改编事宜，几经洽商，大体议定了改编方案，西北军缩编为一个军，宋哲元为军长，给予这整编后的军为东北边防军第三军番号，下辖三个师，由张自忠、冯治安、刘汝明任师长，庞炳勋、孙殿英两部各编一个师，归宋节制。
不料收编方案呈报南京后，未获完全批准，蒋介石打了折扣，只批准了第一、第二两个师的编制，冯治安、张自忠分任师长，刘汝明因无番号，只得与秦德纯一同任副师长，张维藩任参谋长，肖振瀛任总参议兼军法处长，过之翰任军需处长，军部驻解县。
庞炳勋，孙殿英两部，分别改编为陆军第一、第二师。
1931年，1月16日，蒋介石、张学良联衔通电，正式宣布了对宋哲元、张自忠等人的任命，2月6日，宋哲元领衔通电就职。从此，西北军的名号从中国历史上消失。同年6月，南京政府开始整编全国陆军，第三军改番号为第二十九军。军长宋哲元，副军长秦德纯、刘汝明、吕秀文，参谋长张维藩，总参议肖振瀛，第三十七师师长冯治安，下辖三个旅，第一旅旅长赵登禹，第二旅旅长鲍刚，第三旅旅长李金田；第三十八师师长张自忠，下辖三个旅，第四旅旅长童玉振，第五旅旅长张春棣，第六旅旅长张人杰。
第二十九军驻运城、离石、翼城、解县、曲沃、侯马一带。全军共两万余人，第三、六旅是独立旅，第三旅是刘汝明残部，由刘直接指挥；第六旅同年离开二十九军投晋。二十九军编成，总算为西北军保存了一点“香火”。
为了巩固团体，诸将领共同议定，永远以宋哲元为首领，张自忠居次，以下依次为冯治安、赵登禹、刘汝明，日后如有发展，也照此次序，依次擢升。军政事务，由宋、张、冯、赵、刘和秦德纯、肖振瀛、张维藩8人共议，谋定而动。
第二十九军完成改编只是取得了存在的合法性。但却存在两大难题未解决，一是给养，二是地盘。
西北军失败，粮饷断绝，收编了以后，每月也只能从张学良处领到五万元军饷，这点钱连两万多人的肚子都填不饱，更谈不上发津贴和购置装备了。
第二十九军客居山西南部的解县、运城、曲沃、翼县、离石、侯马几县。这里本是晋军杨登源的占区，主客混驻，矛盾迭起，相互仇视。这种处境确是“他人檐下难为客，囊空如洗受饥寒。”
在此情况下，只能委曲求全。宋哲元为打开局面，不得不以大部份时间活动于北平、太原。
以秦德纯常驻北平，专门负责同张学良方的联系。
由肖振瀛办理对蒋介石交涉，以图生计。肖到南京，连路费都没有，不得不从聚义银号贷款2000元赴南京谒蒋介石。
肖到南京以后，几经努力，总算见到了蒋介石，肖振瀛力陈二十九军在各方牵制住山西阎锡山和东北张学良的巨大功劳，可以使蒋介石为领袖的南京中央政府，免除这方面的忧虑。肖可真算得上是一位善辩之士，说得蒋介石喜形于色，当即答应每月为二十九军拨特别经费30万元。这对于二十九军，真是久旱之甘霖。不仅解决了吃饭问题，还可以购置军械，扩大队伍，军容日渐兴旺。肖振瀛确实为二十九军立了一大功。
阎锡山重返山西后，当然不容二十九军在他的地盘上坐大，以对他形成威胁，因此极力策动蒋介石、张学良将二十九军调离山西。
蒋介石果然被说动。因南方“剿共”正需炮灰，便要调二十九军赴江西。
宋哲元、张自忠深知南下绝无出路，便召开“八人会议”商议对策。决定先派秦德纯、门致中与东北军方面交涉，说明“阎归而予以坐大之害”，说服了张学良。然后二十九军佯装离晋赴冀，途中突然发兵由赵登禹部占领榆次车站，炮指太原。张自忠率三十八师一夜急驰，进占阳泉，二十九军其余部队进抵和顺，与张自忠部遥相呼应。
这样一来，二十九军不但未离山西，反而控制了战略地位更为重要的晋东正太路咽喉地带。
阎锡山得报大惊，忙派员找二十九军交涉。肖振瀛对阎派来的使者大笑道：“山西也是中国的土地，我军愿意驻在此地就可以驻在此地。”
阎锡山知道二十九军英勇善战，不敢公然翻脸硬碰，吃亏上当，也无可奈何。
二十九军先斩后奏，在已成事实的情况下，又派肖振瀛去见蒋介石，说明二十九军“不仅能解决西北军的残余收编问题，淘汰军阀残余，保存爱国志士，更能在华北起稳定作用，请蒋支持。”
蒋介石见调不动二十九军，又觉得肖说的颇有道理，也就不再调二十九军南下了。
1931年7月，“反戈将军”石友三又叛蒋（介石）反张（学良），举兵进攻张学良，并联络二十九军支持他，派人游说宋哲元、张自忠，以“西北同源 ”动之。但宋哲元、张自忠对石友三之反复无常十分不齿，断然拒绝了石友三的要求，使其陷于孤立，在东北军于学忠部和晋军商震部的夹击下，迅速平息了石友三之叛乱。
此一事件，取得了张学良的感激信任。作为报偿，张从自己的地盘划出元氏、内丘、赞皇、高邑四县作为二十九军防区。二十九军移驻上述四县，局促山西压力减小了。
1932年，经张学良推荐，宋哲元被南京国民政府任命为察哈尔省主席。二十九军才算名正言顺有了自己的正式防区。才算站稳了脚跟。
二十九军改编刚刚就绪，张自忠就率领部队投入了艰苦紧张的练兵工作。虽然粮饷不足，处境困难，但是张自忠仍然坚持而不气馁。
中原大战的失败，对张自忠来说，可以说是从中得到教训不小。
作为已是西北军的一员高级将领，他对冯玉祥是忠心耿耿的。西北军失败，西北军大批将领投奔蒋介石。其中包括职务、地位都比他高得多的，如张之江、李鸣钟、刘郁芬等，他却没有接受蒋介石的委任，率领队伍渡过黄河北上便是证明。他也为冯玉祥下野难过。但是当他在黄河渡口，目击部队和西北军眷属们渡河时的感触，以及在后来的日子里，多次在脑海中思索着一个问题：以西北军的训练有素，艰苦善战，有40万之众，却为什么最后会一败涂地了呢？
当然失败的原因很多。反蒋联军内部不齐心，尤其是作为陆海空军总司令的阎锡山的为保存自己，对西北军采取了“釜底抽薪”；李宗仁的半途而退；张学良的从中立到拥蒋的介入……这些都是造成失败的重要原因。当然，西北军内部也成在一些致命的问题，开始石友三、韩复榘、李虎臣、马鸿逵的叛投蒋介石，使西北军损失十万之众，随着尚未开战，李鸣钟、张之江两位被誉为西北军“五虎上将”中的两员，又投向了蒋介石。尚未出师，就已损兵折将，这对军心稳定起了多么不利的影响。冯玉祥被阎锡山软禁在山西，致西北军群龙无首，孙良诚的飞扬跋扈与宋哲元的闹不和，造成第一次反蒋失败，这沉重打击了西北军反蒋必胜信心。
西北军当时的根基已在陕甘，却离开自己的根基去河南等地作战，一旦粮饷、弹药为阎锡山所“卡”，则必造成不战而自乱。
这些也是这场战争失败的重要因素。但最为关键的是这场战争究竟为什么而打，为谁而打？它不是辛亥革命，也不是“北京革命”。说穿了，这是作为掌握着枪杆子和占踞着地盘的，蒋、冯、阎、李几个派系，为争夺自己派系更大的权益而发动的一场战争，一场新军阀混战，它和辛亥革命后直系、皖系、奉系以及国内各地的大大小小的军阀之间的互相争斗，根本没有区别。
蒋介石之所以获得胜利，固然是其内部派系少，相对团结能统一指挥，善于利用对手互相间的矛盾离间、分化、瓦解。另外他以中央政府这个旗帜下要统一这个幌子为由，这也在一定程度上反映了广大民众饱受军阀混战之苦，希望统一在一个政府之下，而不要再分割了的意愿。
当然，军阀战争，要想得到民众的支持和拥护是不可能的。但中原大战的结局，使张自忠意识到，这也许是一件好事，也许意味着今后军阀战争将不会重演。作为一个爱国军人，应该团结起来，一致枪口对外，抵御外侮，保卫祖国才是军人的天职啊！
当然，他也明白，二十九军因为不是蒋介石的嫡系，也不是张学良的嫡系，必然会在一种艰难的夹缝中生存，自己没有实力是不行的。他正是在这两种心情即为了祖国，为了生存之下，率领部队，咬牙苦撑，埋头练兵。
1931年夏，三十八师移驻东太行山区的阳泉、平定、昔阳和冀西的井陉一带。这年，发生了震惊中外的“九一八”事变。张自忠对于日本军阀的疯狂侵略和国民党政府的不抵抗政策甚为愤慨，9月20日，他与宋哲元、庞炳勋、吕秀文、刘汝明、冯治安、沈克、马法五等将领联名通电全国，请缨抗战，呼吁全国四万万同胞“宁为战死鬼，不作亡国奴，奋斗牺牲，誓雪国耻。”但是，由于南京政府的不抵抗政策，九一八事变后仅仅四个多月，东三省全部沦陷在日军铁蹄之下。
“九一八”事变使张自忠认识到，只有反对内战，枪口一致对外，才能保卫国家的独立、人民的安全。暂时不能上前线杀敌，张自忠转而发愤练兵。在部队训练上他更加重视爱国主义的教育。每天朝会上，他都要对士兵进行“国耻”教育：
问：东北是哪个国家的土地？
答：是我们中国的！
问：东三省被日本占去了，你们痛恨吗？
答：十分痛恨！
问：我们的国家快要亡了，你们还不警醒吗？你们应怎么办呢？
答：我们早就警醒了。我们一定要团结一致，共同奋斗！
在编的《吃饭歌》中就有：“……日本军阀，国民之敌；救国救民，我辈天职。”还有在9月18日这天，全师官兵要举行“国耻纪念日”，进行各种国耻纪念活动，其中一项是买来几头猪，贴上“日本帝国主义”字样，每连派出一名士兵，端起剌刀向肥猪猛剌过去，哪个连队剌死了，那个连队抬走吃肉。
二十九军改编以后，已成为统一的国民军，但因非蒋介石之嫡系，因而仍然受到猜忌，所以对二十九军特别是张自忠的三十八师，采取挑拨离间的手段。
张自忠有一次收到两封信，他看后，打电话把二二六团团长佟泽光从昔阳叫到平定师部来。
佟泽光来了以后问他道：“师长，你叫我来有什么事？”
张自忠：“我这里有两封信，你先看了再说。”说着拿出两封信来递给佟泽光。
这两封信都是写给佟泽光的，一封是刘峙来的，一封是程潜来的。均以复信口气，似乎佟泽光给他们曾通过信，大意是：大函已悉，已转上峰，谅无问题。希待机而动……。
佟泽光看后，气得把信扔在桌子上说：“我和他们毫无关系，既不认识，也没去过信。这两封信纯系造谣，挑拨离间！”
张自忠道：“你也别激动。你的认识和我一样。我们不会中人挑拨离间之计，也不能中别人挑拨之计。我对你是相信不疑的。如果对你有怀疑，我不会把你从昔阳叫来，把信给你看了。”
佟泽光感激地：“谢谢师长对我的信任。”
张自忠道：“早在曲沃的时候，就接到类似的一封信，知道是挑唆，不值一笑，所以没有叫你看，我把它烧了。现在又来这两封信，明知道是造谣离间，我想不能再让你不知道，如果不坦率和你说明，倘若传到你的耳中，反而增加误会，所以请你来当面说明。你需要安心工作，用不着去想他。我再说一遍，我完全信任你。”
这使得佟泽光十分感动。后来佟在回忆录中写道：“师长这一番话，坦率真诚，使我铭感肺腑。”
张自忠苦苦练兵，要求十分严格。他还要求军官，与士兵同甘共苦，士兵们穿什么，军官也穿什么；士兵们吃什么，军官们也吃什么。军官一律不准特殊化。他要把他的三十八师练成一支铁军。那才能在战场上和日本侵略者一决雌雄，以雪国耻。