张之洞生命的最后几年，是在忧患国事日非的悲凉心境中度过的。光绪二十九年（1903 年），之洞由湖广任奉召人京厘定学堂章程。此时离他于光绪十年（1884 年）离京赴任两广总督，已近二十载。重返京师，但见“老辈凋零，风雅歇绝，守旧者率鄙陋闭塞，言新者又多后进践躁之流，可与言者殆少。感愤之余，屡屡形诸吟咏。”他邀约宾客往观慈仁寺双松，归来感叹：“遗此区区老秃树，岂足增壮帝京色。”远足西山，那秀媚的名胜佳境仍不足排遣他胸中的郁闷：“西山佳气自葱葱，闻见心情百不同，花院无从寻道士，都人何用看衰翁。”
光绪三十三年（1907 年），之洞以体仁阁大学士身份入军机，“天下喁喁望治”，然而此时朝政腐败已达极点，满贵集团挂羊头卖狗肉，借“新政”之名，行专权之实。慈禧死后，载沣摄政，更是变本加厉，加紧排斥异己，集权于皇室。之洞“入此非驴非马之政府，且时相 龁，遂致一无展布，名实俱损。”
载沣等人虽然对张之洞不象对袁世凯那样，必欲除之而后快，表面上仍以“顾命重臣”待之，优礼有加，但实际上往往并不采纳他的政见。
宣统元年（1909 年）元月，陕甘总督升允奏陈反对立宪之意，自请开缺。张之洞以为其言虽不恰当，但在满员中究属正派一流，因而不可允其辞呈。可是，庆亲王奕励素与升允有隙，乘机进言载沣，使允其所请。之洞得知此事，“意颇抑郁”。与此同时，给事中高润生参劾津浦铁路总办道员李德顺、督办大臣吕海衰营私舞弊，载沣准备以满员取代之。张之洞正为亲贵联翩进用而”忧形于色”，当即表示反对：“舆请不属，必激变”。载沣竟然蛮横地称“有兵在”，准备动用武力压制民心。之洞“退而叹曰：‘不意闻亡国之言。’咯血而出。”
几十年仕途鞍马劳顿，之洞垂垂老矣。严重的肝疾，更令他痛苦不堪。宣统元年（1909 年）六月以后，终至一病不起。八月二十一日，摄政王载沣亲临探视。张之洞以一片赤心，试图最后规劝载沣，明瞭亡国危机迫在眉睫，促其幡然醒悟，以振朝纲：
王至谓公曰“中堂公忠体国，有名望。好好保养。”公曰：“公忠体国，所不敢当，廉正无私，不敢不勉。”王出，陈师傅（陈宝琛——引注）入，问曰：“监国之意若何？”公无他言，第叹曰：“国运尽矣！盖冀一悟而未能也。”
之洞明白自己的生命已到最后时刻。他告诫护持病榻前的子孙，“勿负国恩，勿堕家学，必明君子小人义利之辨，勿争财产，勿入下流”。又令诵读遗折：
“当此国步维艰，外患日棘，民穷财尽，百废待兴，朝廷方宵旰忧勤，预备立宪，但能自强不息，终可转危为安。……所有因革损益之端，务审先后缓急之序，满汉视为一体，内外必须兼筹，理财以养民为本，恪守祖宗永不加赋之规，教战以明耻为先，无忘古人不戢自焚之戒，至用人养才尤为国家根本至计，务使明于尊亲大义，则急公奉上者自然日见其多。”
宣统元年（1909 年）八月二十一日亥刻，张之洞逝世，终年七十二岁。二十三日，上谕加恩予谥文襄，晋赠太保，入祀贤良祠，翌年，灵柩归葬故乡南皮。