光绪二十年（1894 年）春，朝鲜南部爆发大规模的东学党农民起义。朝鲜政府请求清政府助兵镇压。日本内阁认为这是发动侵略战争的绝好时机。当清军进驻朝鲜牙山后，日军也以保护侨民为由占领汉城，两军对峙，大战一触即发。六月二十三日，日军不宣而战，于牙山口外丰岛海面击沉中国运兵船。七月一日，两国正式宣战。1894 年为旧历甲午年，这一场战争因而又被称为甲午战争。八月十五日，日军攻占平壤。两天后，中日海军于黄海大东沟海面激战，北洋水师遭受重创。九月下旬，日军分两路进攻辽东半岛，清军一触即溃，九连城、安东相继失守。
水、陆两方面作战的接连失利，使李鸿章惟系军事集团的腐朽无能暴露无遗。清政府临阵换马，于十月初调湘系军事集团的首领人物、两江总督、南洋大臣刘坤一任钦差大臣，驻山海关，指挥对日战争。同时调张之洞接替刘坤一，署理两江总督，驻节江宁（南京）。
对于中日争端，之洞持坚定的主战立场。这既是他个人昔日清流党人“卫社稷”、“御外侮”宗旨的合理延续，又与他此时倾向于湘系军事集团，亟欲通过对日作战，在军事上取淮系而代之的派系目的密切相关。还在赴江宁之前，张之洞就调遣湖北提督吴风柱率襄阳马队七营、熊铁生马步十营、副将吴元凯炮队四营，共计一万余人，北上参战。对于取道湖北北上的其他部队，也予以饷、械援助。他给过境刘树元部银两万两，魏光焘部银两万两，余虎恩部银六万两，以助军资。又耗资四十二万两，向德、奥等国购置步枪近万枝，子弹七百万发；大炮三十尊，炮弹一万四千发以加强北上诸军人力。抵两江任后，张之洞更是不遗余力，支援前线抗敌作战。他于扬州、清江、宿迁至山海关、锦州沿线设“江南转运局”十二处，各雇大车三百辆，又购、租大量船舶，分水陆两路输送辎重。山东威海吃紧时，他主动送去自己在上海购得的快枪一千枝，子弹一百万发。
战争期间，张之洞切实加强长江沿线防务，严阵以待，准备迎击溯江而上的日军。光绪二十年（1894 年）七月，他还在湖广总督任内，即令湖北按察使陈宝箴赴江宁，与刘坤一会商长江联防，同时下令湖北水陆防营进入临战状态，充实编制，加紧操练。特别加强扼江防要冲的广济田家镇炮台，参考西法，与南北两岸及中路要冲吴王庙地段分建明、暗炮台十四座。署理两江总督后，之洞见防军精锐皆随刘一坤北上，长江下游防务空虚，急调粤军名将、中法战中威名赫赫的冯子材驻守镇江。又多方筹措巨额军费，奏加盐引米厘以应急需，劝令淮商捐助饷银一百万两，同时息借广东、江苏商款二百余万两，借洋款两百万英磅。他巡视沿江各炮台，见火炮陈旧，防务松懈，炮位、弹药库建筑多不合实战要求，立即下令改造炮台，添置新式火炮。至光绪二十一年（1859 年）底，象山、焦山、狮子林、盘龙山、圌山关、幕府山、钟山、金山卫、龚家墟、清江浦等地炮台全部峻工，防务力量大为增强。
尽管刘坤一、张之洞等主战派竭力支撑，清军爱国官兵浴血奋战，仍然挽回不了战争失败的结局。清政府被迫通过英、美等国，向日本乞降。光绪二十年（1894 年）底，派出驻美国大使张荫桓（1837—1900）与湖南巡抚邵友濂（？—1901）为全权大臣，赴日谈判。张之洞对此极表反对。他说： “倭寇无故开衅，妄肆要求，传闻所索数条，贪狠狂悖，实堪发指，若许之则中国不能立国矣。目前和议，断不能成。张、邵此行，恐亦无益。”
果然，此时侵略气焰正盛的日本政府急于扩大战果，对谈判根本不感兴趣，以张、邵二人资格不够，且无全权为由，拒绝与之谈判。光绪二十一年（1895 年）元月，山东刘公岛失陷，北洋水师全军覆没。日本政府在取得更大的筹码以后，始应允谈判，但态度更为骄横，指名李鸿章为中方全权代表。谈判地点，前定旅顺，后又改日本马关，清廷一一屈从。三月二十三日，双方签订《马关新约》。根据条约，中国承认朝鲜独立（实沦为日本殖民地），割让台湾、澎湖列岛及辽东半岛给日本，赔偿军费库平银两亿两，开放沙市、重庆、苏州、杭州为通商口岸，日军继续占领威海、刘公岛要塞。消息传回，朝野震惊，拒约呼声，响彻全国。张之洞屡电总理衙门，逐条剖析了条约的严重危害。他说： “旅顺、威海及北洋门户，若不退还，则北洋咽喉，从此梗塞。以后虽有水师，何处停泊修理？……彼日肆要挟，稍不满欲，朝发夕至。……彼时战不及战，和不及和，守不及守，即欲暂避，亦不及避。通商条目、赔款限期，尤堪骇异。各省口岸、城邑、商业、工艺、轮船，处处任意往来，任意制造，一网打尽，工商生路尽矣。……（赔款）分期摊还，每年亦须还本息一千数百万两，各海关洋税空矣。……民贫极则生乱，厘税去则无饷，陆师海军永不能练，中国外无自强之望，内无剿匪之力矣。 割地一事，尤不可行。自有中国未闻以重地要地割予岛国之事。……岂有卧榻之旁，供人鼾睡？”
在电奏中，张之洞怒斥李鸿章“敢于犯天下之大不韪”。“恐宋臣秦桧明臣仇鸾之奸尚未至此也”，同时也对慈禧太后的妥协态度表示了强烈的不满：“坐视赤县神州，自我而沦为异域，皇太后、皇上将如后世史书何？”当然这一切都无济于事。四月十四日，中日两国于烟台互换条约定本。此后张之洞所能做的，只是继续支援台湾军民抗击日军，延迟割让台湾成为既成事实。
张之洞一向重视台湾的重要战略地位，还在中日正式谈判之前，他就致电李鸿章，“窃谓台湾万不可弃，从此为倭傅翼，北自辽，南至粤，永无安枕；且中国水师运船终年受其挟制，何以再图自强？”在致总理衙门的电奏中，他说：”查台湾极关紧要，逼近闽浙，若为敌踞，南洋永远事事掣肘，且虽在海外，实力精华，地广物著，公家进款每年二百余万，商民所人数十倍于此，未开之利更不待言。”战争期间，台湾巡抚唐景崧、守将刘永福均为之洞旧部，但二人不合，深存芥蒂。之洞原想将刘调离，但因战局紧张未成。之洞多次调解二人关系，劝以抗战大局为重，和衷共济。为增强台湾军民抗日力量，光绪二十一年（1895年）二月，张之洞拨枪一千六百余支，子弹一百万发及军饷若干，一并运往台湾。
《马关条约》签订后，张之洞认为，“台民果能坚守，自有办法。台自能守，倭岂能责我？”仍然支持唐景崧、刘永福坚守台湾，捍卫领土主权。他致电唐景崧：“此时惟战守为急，三战后尚能相持，方有办法。”他派人迎唐母来宁，赡养备至，并电告唐景崧：”君为国尽忠，吾为若尽孝，勿以老母为虑。”台湾军民更不愿沦为亡国奴，拥戴唐景崧为台湾民主国大总统，刘永福为大将军，自负抗敌之责。唐本无抗敌之志，但怯于民心，不敢径自离台。刘永福则布告民众，“合众志成城，执挺胜战”，“万死不辞！”张之洞不顾清廷禁令，又拨银三十万两，经英国汇丰银行汇往台湾，鼓励唐景崧坚持抗战。他电示唐：
“全台地广，待倭深入，然后以兵截其归路，断其军火，彼军人不继，终必败窜也。……敝处仍可随时接济。船不便派，此外虽不易办，当相机为之。基隆早知不可守，勿以此为恨。总之，台地广，倭兵少，但存一府一县，即有生发；相持三月，各国必有出头者。仆当力筹。台北府即为倭占，仍可自存，何遽云事不可为耶？”
但是唐景崧仍以“事不可为”，几日后只身乘商轮离台。刘永福苦撑危局，致电之洞：“天下仰我公一人，乞为大局计，痛哭流血，乞速设法救授，守走死生，望公一言为定。”张之洞继续通过种种途径接济台湾军民饷械。
张之洞一再违抗朝廷旨意援台，妥协派十分恼怒，李鸿章竟奏称“台民叛”系之洞“主使”。清政府更唯恐开罪日本，也再三严令禁绝济台。在这种情况下，之洞万不得已，致电刘永福：“公或去或留，仍请阁下自酌，鄙人不敢与闻，至协济饷械，奏谕旨严禁，万不敢违，愧歉万分，务祈原谅。”刘永福坚持至九月，弹尽粮绝，被迫撤回厦门，台湾终于完全沦陷。