迄至十九世纪中叶，清军装备仍以刀矛箭戟等“冷兵器”为主。鸦片战争以后，列强挟坚船利炮而至，几经交手，西方大机器工业生产出的近代军备的优越性，渐次得到中国人、首先是那些直接参与战争的军事将领、封疆大吏们的承认。同治四年（1865 年），李鸿章上疏，言统军在江南“剿贼”，“习见西洋火器之精，乃弃习用之抬枪、鸟枪、而改为洋枪队”。这是中国军队装备洋械的开端。
就张之洞而言，重视军备的更新改良，始于山西巡抚任内。在筹编山西练军时，他就准备一改“绿营向以弓箭为先”的传统而“首重火器”。他在给张佩纶的信函中曾透露筹巨款以购外洋军火的计划.但不久他奉调至粤，计划未及实施。
光绪十年（1884年），张之洞调任两广总督，直接参与指挥对法作战。战争是极好的课堂，之洞对于改良军备的急迫性，因此而有了更切身的体会。在《筹议海防要策折》中，他分析道：
“自法人启衅以来，历考各处战事，非将帅之不力，兵勇之不多，亦非中国之力不能制胜外洋，其不免受制于敌者，实因水师之无人，枪炮之不具。”
针对中国旧式军队装备落后的病弊，张之洞说：“器械不利，与空手同；不能及远，与缺兵同，史之良规也。”为了弥补与法军在军械质量方面的差距，他“抵粤以来，首以购备军火为务，分向欧美各洲不惜重金，广求利器”。但是，事关国防大计却时时仰给于人，总非善策。张之洞于此饱尝苦涩辛酸，他在一份奏折中报告：
“去年各省设防以来，所购军火不下数百万金。而良粗不齐；且损重费，甚至居奇抑勒，借口宣战停运截留，种种为难，令人气沮。其运脚、保险、行用等费扣至四五成不等。仰人鼻息非长策。”
为改变这种被动局面，自力更生，张之洞留心“访求粤省究心雷械之员弁工匠，凡稍有才艺心思者，皆令多方试造以冀逐渐扩充，开兹风气。”他扩建广州黄埔船坞，建造小型铁甲舰以增强海防力量。中法战争结束后的第二年（1886 年）。他又将广东七十年代建立的机器局和火药局合并，扩大生产规模，同时又创办一座枪弹厂。光绪十四年（1888年），张之洞开始筹建规模较大的枪炮厂，并奏称：向外洋购买枪炮，“不但耗损中国财用，漏卮难塞，且订购需时，运送遥远，办理诸多周折。设遇缓急，则洋埠禁售，敌船封口，更有无处可购，无处可运之虑。况所购之械，种式不一，精粗各别，弹码各异，仓卒尤易误事。详筹时势，必须设厂自铸枪炮，方免受制于人，庶为自强持久之计”，这也是他日后排除万难，建立中国自己的近代军事工业的基本指导思想。
此后不久，张之洞移节湖广，该厂随迁至汉阳大别山（即今龟山）麓建设，更名“湖北枪炮厂”。截止光绪三十二年（1906年）底，该厂共造成马步枪十万一千六百九十枝，枪弹四千三百四十三万七千九百三十一颗，各种快炮七百三十尊，前膛车炮一百三十五尊，各种开花炮弹六十三万一千七百颗，前膛炮弹六万零八百六十颗。该厂规模、产量均居全国前茅。直至抗日战争时期，由该厂发展而成的汉阳兵工厂所制“七九式”步枪，仍因质量精良而享誉全国。在中国军械生产的近代化方面，张之洞作出了重要贡献。除了大力发展民族军事工业以装备部队以外，在军队演练、操作新式军械方面，张之洞也予以高度重视。光绪十一年（1885年），他制订海防操练章程，规定各营均须精练卧枪、枪、过山炮、洋式火箭，并掌握安放水雷，修筑炮台，架设行军电线等技术。湖北广济田家镇，地扼江防要冲。光绪二十二年（1886年），张之洞亲往察勘，于南北两岸建明暗炮台十四座，安装德制克虏伯大炮。该炮系当时世界最先进的火炮，“其测量演练断非数月所能纯熟，不惟勇丁娴此者无多，即将弁中通晓炮法台式者亦实罕靓”。有鉴如此，张之洞下令“各台专设台官，各炮专设炮务，各有专司，勤加练习”，炮台官兵不准派当杂差，不得随意调动、更换，促其精心演练，以利守备。
对于敷衍塞责，疏于操练者，张之洞给予严肃处罚。光绪二十九年（1903年），张之洞亲临寰泰兵轮，校阅在该轮实习的水师学堂学生成绩。但见“演放火炮，手法生疏草率，拉火不响，遂不再安拉火，空手作一拉之势而已”。“令其演行船撞船诸事，则只空比手法，船身并不运动，种种直同儿戏”。之洞大为震怒，“不知该学生等所练何事，所毕何业”，他随即奏请将该轮管驾官兼正教习何心川即行革职，并宣布此批学生不准毕业，以做效尤。