吴佩孚在南阳越住越不是味道，南阳部队不稳，驻扎老河口的张联升也不可靠，赫赫一世的吴玉帅顿然有茫茫大地，走投无路之苦，想来想去还有一个人可找，就是在四川的杨森。杨森也是一个血性男儿，一向对吴非常敬佩，在这人情冷暖世态炎凉的时候，如果不是一个血性男儿，对吴去投奔是会闭门不纳的，吴把这个主意和于学忠商量，于颇不同意，因为（一）去川路途遥远，经过老河口时，张联升不会放行，（二）四川虽是天府之土，但非北人立足之地。吴认为于所讲的也有道理，因此改了主意，打算由驻马店跨过京汉线直趋安徽，可是最后仍决定入川。
16年6月19日，吴离南阳到邓县，会合于学忠，决定进川之行期及路线，乃发觉于已投奉，改称安国军第廿军军长，吴初闻不以为真有其事，到出发日期，于避而不见，吴始信之。唯于所部师长，受于欺骗，颇有怨言。吴出邓县30里，据报前方有军队阻截，遂在一小村庄地名田营暂停，派探查明，系马廷福、杨织云两师在前方筑战沟，未久，杨、马两师长皆来谒见，报告奉军长令挖战沟，谓大帅已过去，后来任何军队，都不准通过，适才得悉大帅尚未出发，恐有误会，特来报告。这显然是于学忠不愿吴赴四川的诡谋，以掩饰无背主作窃之丑行。他效法靳云鹗在汉口之故事，逼吴下野。于学忠与吴同里，追随吴十余年，由营长提升到军长，吴素依为心腹，临事却不如路人。
吴见形势有变，乃告于部暂驻原防待命，不必跟进，是日在田营宿营，襄阳镇守使张联升（系吴旧部）派人来联络，并商讨渡襄河问题，决定在老河口与樊城之间太平店渡河，船只及掩护部队，由来负责部署。原来由田营去太平店有两条路线，如果经太山庙是大路，远五里；经沟陵关，近五里。乃决定走大路，卫队旅第一团先出发，第二团随本队行动，后因各路皆平静，本队遂改走沟陵关。出发时秘书长张其锽所乘之马，忽狂跳不肯向前。张怒，连鞭之乃就道，正午到沟陵关午餐后，地方耆老持纸求书，吴不忍拒，遂一一为之书写，时在午后2点，南冈忽传来断续枪声，时张其锽不耐久等，同秘书处人员先行出发。吴恐有差失，急催部队前进，约行三里地名灰店铺，果然发现惊人惨剧，张已遇难身死。部队散开，遍地搜索，不见敌人踪迹，后经地方人士报告始知系樊钟秀匪部，误以为商旅，欲行打劫财物，未及搜检，大队已到，乃呼啸而去。吴见老友惨遭横祸，抚尸大恸，命地方士绅代购棺木成殓，浮厝关帝庙内，是日乃在附近村庄宿营。
张其锽字子武，广西桂林人，进士出身。清末任零陵、芷江县长，统领南路巡防队，辛亥革命后担任湖南军事厅长，和谭延闿意气相投。民国8年段祺瑞对湖南用兵，吴佩孚率第三师进驻衡阳，与张所率湘军对峙，张和吴订交就自此始，谭、吴休战协定就是张其锽从中牵线，吴佩孚的衡阳撤军通电据说乃是张的手笔。从此吴、张成为莫逆之交，而张也投入吴幕。
吴对部下向来不假辞色，虽手握重兵大将如冯玉祥、王承斌之流见到吴亦只能笔挺地站着，虽做过吴的老师如蒋雁行、李成霖之辈见到吴亦只能唯唯听命，而吴对朋友则以老大哥自命，呼齐燮元为抚万老弟，孙传芳为馨远老弟，赵恒惕为炎午老弟，杨森为子惠老弟，独对于比吴小好几岁的张不称子武老弟而呼省长，吴对部下如果说：“去请省长来”，就是指的张。11年6月18日黎元洪再度做总统时任张为广西省长。他是一个传奇人物，中年自号无竟居士，堂名独志堂，熟读《墨子》和《庄子》，著有《墨子通解》，又精研奇门遁甲、六壬。吴佩孚投军前曾在北京崇文门外做过卖卦先生，因此对于张的博学多才，精通术数更为敬重。
张在吴幕是客串，由客串正式加入班底，不在吴虎视洛阳，如日中天之时，而是在冯玉祥倒戈，吴由天津出海泛舟之时。
据说：张曾算出他自己在16年有一大劫，那年初，吴在郑州曾派易克皋赴郾城与靳云鹗接洽时，恰值有奉军将渡河袭郑的谣言，易向张告辞时，凄然说：“此别不知后会何时？”张亦凄然说：“也许没有后会之期了，我自己流年不利，玉帅亦在坎坷中，我自己最安全的办法是回上海闭门著书十年，逃过劫数再说，但我又不能弃玉帅于危难！”当吴由郑州到巩县，再由巩县南行到南阳与于学忠会合时，张欣然向人说：“好了，我大约逃过劫数了。”怎知张虽然算出了大劫，却又算错了，以为自己已经过了劫数，实则是在劫难逃。
张本人个子很高，雪白脸孔，五柳长须，夏天穿一件阔大的夏布长袍，摇一把精致的鹅毛扇，使人想到《三国演义》上羽扇纶巾的诸葛孔明。他常常不在床上而喜欢在藤椅上睡觉。民国时代以奇门遁甲著名于时的，当推张其锽了。他确可算近代一奇人。
张其锽和谭延闿在清末即已订交，两人亦是把兄弟，气味相投，惺惺相惜。张随吴佩孚落荒而逃时，谭延闿是国民党的重要领袖，正在汉口。由于国民党宁汉分裂，因此谭仆仆于南京、徐州、郑州、汉口之间。张的噩耗传至谭的耳里，已是6月下旬，他立即托方振武前往照料，并料理他身后事。
张的灵柩于9月1日抵上海，11月28日葬于苏州的南乡。谭的哭张子武诗，真情流露，至为感人，挽诗如下：
一别真投笔，三年负枕戈，有书常不达，无命欲如何？生死交情见，孤寒涕泪多，裹尸余马革，凄绝向江沱。
辛苦依人计，艰危壮士风，前知伤郭璞，从事异臧洪。未必谋身拙，仍怜殉友忠，纵横湖海气，今日竟途穷。
少年曾并辔，中道各扬镳，鹰隼飞常厉，骅骝意苦骄。多才成负负，同好已寥寥，头白谁相慰，羁魂不可招。
夙昔谁知己，平生误感情，家惟瓶粟在，箧有谤书存。志事兼儒墨，思心托梦魂，冤亲同一尽，恸哭更何言。
吴佩孚失去了老友张其锽已够痛心，可是更凄凉的，还在后面，原来襄阳镇守使张联升不迟不早就在吴佩孚假道前已奉到冯玉祥的委任状，6月21日冯委张为第卅八路总司令，他的就职通电有“待罪之身，……受宠若惊”之语。
吴要假道入川，张暗暗欣喜，想活捉吴立一大功。他假惺惺地对吴的代表说：“冯总司令要捉吴玉帅，我不能不服从；玉帅是我的老长官，我又不能下手。想假打一仗，做个样子，请复告玉帅放心好了。”
吴率败兵于6月24日中午到达太平店，第一团已先到，正调集船只，午后第一团先渡过襄河，在对面掩护，第二团及本队刚上船，四面枪声大起，乃冯玉祥部葛金城旅，奉冯玉祥令截击，即张联升口中所谓掩护部队。当时河中船只，骤然慌乱，第一团已登陆，向东岸还击，致使自己部队亦无法站脚，敌人隐避在树林中或高粱田里，更无法对抗。约一小时之纷扰，吴与夫人及随从人员，均已上岸，计有三只船沉没，死于水者百余人，伤者十余人，副秘书长张佐廷腿部被伤，不能行动，着地方人畀送樊城就医。吴渡河后，徒步行十余里即宿营，截击部队亦未尾追。
张联升于7月3日以江电向冯玉祥报告“围剿吴逆经过”。
吴佩孚决心从鄂北的小路入川，当时杨森部已由宜昌退巴东，吴乃选择取道保康、秭归、兴山入川，这是一条荒僻山路，除了土匪，普通人迹罕到，有时无路可走，须从这座山头翻到那座山头，仰攀俯爬，艰难有如三国时邓艾偷渡阴平，有时以草根树皮果腹。响导人是土匪眼线，每过匪寨，吴命响导人持一张大红名片，上书“吴佩孚”三字，高举手中，公然竟能通过。蜀道难于上青天，吴佩孚这时可说是已经亲身经历了。
有一天，走到一处地方，叫黄柏坪，地面稍为宽敞，有几户人家，一个老道观有点面粉和绿豆，主人就全拿出来供客。白面饼，绿豆汤，自然是几天以来最丰富的一次午餐，饭还没有吃完，追兵又跟上来，手榴弹响了，接着就是一排轻机枪声，可是没有伤着人，山上下来一匹马，举着一面白旗，吴端着一碗绿豆汤，手里拿着一张饼，由庙里走出来，嘴里的饼还在嚼着，问来人是干什么的，来人便举过一封信来，大意是“请大帅不要走了，四面都已包围，即刻交出队伍，如不听劝告，后果无人负责。”这封信看完了，参谋长蒋雁行流着泪说，咱们总算对得起国家，就是到南京去，也不会有什么危险，如果这样向外冲，必有大祸。吴听完，当时大怒，两只黄眼睛，像冒出火来一般，用手将蒋雁行推开说，跟我走，我不知道什么是大祸。说罢即首先向山路前进，队伍留一小部分在后面掩护。送信人如木鸡一般闪在一边，吴全部走后，他才回去报告。一小时之后在半山腰稍停，等后面部队完全到达又沿着山路攀缘而上，是夜宿于山上。追兵没有袭击。
吴佩孚历经万难由黄柏坪到歇马河，到马良坪，到巫山界岭，7月13日越秭归抵巴东。这一带都是杨森的防区，杨部旅长贺国权迎吴于歇马河，并电告杨森云：“吴公偕其少数侍从人员及卫队约五千人已安抵马良坪，权闻讯曾驰赴歇马河面谒，渠欲来川一游，可否接待？请示办法！”
杨森这时已受任国民革命军第廿军军长，不过吴还不知道杨森易帜，但杨公谊私交分得很清楚，他并没有落井下石，俘吴为自己立功打算。所以他复电贺国权命他妥为接待。一方面电呈南京蒋中正，谓吴狼狈退川，志在江湖，准吴入川纯出私谊，保证吴息影林泉，不问政治，如有轨外行动，愿负全责。另方面并向四川地方将领疏通。同时派第一师师长白驹及前任四川省财政厅长熊煜星夜乘轮赴兴山界岭迎迓，并请吴暂以奉节县白帝城永安宫作为吴的行馆，由贺旅护卫。吴的旧部这时纷纷间道来归，连文武官佐兵士眷属，为数逾五千人之谱。
7月15日杨森谐妻子暨高级将领数十人，由防次万县乘兵舰直驶巫山迎吴夫妇，同乘舰溯江而上，入瞿唐峡，泊白帝城，至永安宫。杨对吴说：
“国民革命军北伐必然成功，玉帅高风劲节，自放江湖，既不愿屈居租界寄外人篱下，又不屑气国际势力，滋长内乱，不如通电各方及州中将领，表示光明磊落的态度，宣布入川纯系游历性质，决不作政治活动，如此可释川人的疑惧，又示天下以坦诚。”
吴佩孚对杨森这第二位患难知己（第一位患难知己是赵恒惕），有一种特别感情，加上他今天自身的潦倒，他欣然接受杨的建议。
吴佩孚接受杨森的劝告，乃发表号电，这是吴失败后一封著名的不闻理乱，表明心迹的电报，电云：
“万县杨惠弟鉴：举世滔滔，乱靡有届，欲资游憩，名胜为宜。因念蜀中山水，半属旧游，而蜀中将士又皆旧雨，业于号日间道抵夔，暂憩此间，专事徜徉，不闻理乱。甫澄、积之、晋康、自干、德祥、颂尧诸兄处及各师旅长等，乞弟为之道意。一俟秋凉，溯江而上，再续旧欢。特电奉达，即希注察。小兄吴佩孚。号。印”。
杨森即根据吴的号电，分电四川中各将领：
“特急。重庆刘总指挥甫公，赖军长德祥兄，绥定刘督办积公，成都刘军长自干兄，邓军长晋康弟，三台田军长颂尧弟，暨各军师旅团长诸兄钧鉴：顷接吴玉老号日由夔来电云云。窃玉老自解除兵柄后，久已厌弃时事。此次挈眷到川，纯系游历山水，并无政治作用。森拟俟其暂驻夔门稍事憩息后，或当送往西行。诸公均属袍泽旧谊，当不让弟独为东道主也。杨森。养。印。”
尽管吴表示不闻理乱，可是那有携带五千随从和兵马游山玩水的道理，所以吴的号电发出，杨森虽然为之呼应，但各方反应却并不佳。中央对吴虽予以宽大待遇，不过责成杨森要把吴的武装部队解散，而川人则认为供应吴和他的家属及少数随从不成问题，却不容以四川资财供养客军。杨并不想缴吴的械，但事实上又非缴不可，想来想去只好以紧缩为由劝吴裁兵，一次不听，再劝三劝，吴都不点头，且忿然说：“当年拥兵数十万，如今世衰事易，只留下五千老弱跟我东奔西走，我何忍解散他们！”
当吴在最潦倒落魄的时候，日本第一遣外舰队总司令荒城二郎少将，海军驻沪特务机关长佐藤秀大佐率将佐十五六人由宜昌乘小型舰到白帝城，专诚拜访落魄的吴大帅，表示（一）愿供给私人借款100万，（二）愿赠步枪10万支，小炮500门，机关枪2000挺连同弹药，由小型舰艇运来白帝城。这对于有意东山再起的人自然是一个大诱惑。可是对吴佩孚这位硬汉，则毫不发生作用。
吴义正词严地对日本人说：“过去我有枪不止十万，有钱不止百万，尚且一败涂地，可见成败是不在于枪炮和金钱，我如果愿意借外债，引外援，何必待到今日。中国事应该由中国人自了。贵国贵官的盛意我是不会承受的”。
吴佩孚这次入川，艰苦万分，真是九死一生，对于一位百战老将，还没有什么，可是他的夫人张氏，却印象恐怖；尤其是张其锽之死，以及偷渡襄河的枪战，当时张氏即有投襄河自尽之意，经吴佩孚百般劝阻，好说歹说，其意始解。此后跋涉穷乡僻壤，吴虽泰然，但有内顾之忧，张氏夫人曾一再向吴表示，受不了这种担惊骇怕的日子，纵不求死，但愿削发为尼。且劝吴从此下野，不问世事，入名山为僧以保余年，泪随声下，吴亦为之动容。吴的感慨可从他两句诗中道出：“生死两难悲末路，夫妻垂老泣牛衣。”这两残句，未见全诗，大约因为词句太过悲惨，故意不留。另有入蜀诗一首，亦道出英雄末路之哀，诗曰：
曾统貔貅百万兵，时衰蜀道苦长征，疏狂竟误英雄业，患难偏增伉俪情；楚帐悲歌骓不逝，巫云凄咽雁孤鸣，匈奴未灭家何在！望断秋风白帝城。
还有《白帝城怀古》一首：
落日荒城剩野蒿，参天古木树旗旄。君臣遇合欢鱼水，禅术分明非俊豪。祚运只教归在汉，河山那肯署为曹。江声不尽英雄恨，流到瞿塘浪涌高。
吴自觉在白帝城易惹各方注目，为了解除东道主的困难，甚盼移居万县，可是杨森不以为然，因杨自己驻节万县，吴来了，自己很难处。
17年初，杨同意吴移居大竹，吴遂西行经万县，受到杨森的盛大欢迎。