十余年的疆吏生涯，御外侮，平内患，张之洞日益体悟到“练兵一事，鄙人身心性命之学”。还在山西巡抚任内，他就曾萌发“筹巨款购外洋军火以练晋军”的念头。因旋即调粤，未竟其事。总督两广期间，又编练了习洋操、配洋械的广胜军，但成效不著。
甲午中日战争以中国方面的惨败告终。以此为契机，军制改革成为朝野议论的中心，“有请改练洋操者，有请改定兵制者。”张之洞屡陈奏章，力主仿照东西洋各国，编练装备新式火器，运用近代军事原理训练、组建的新型军队，以逐步取代绿营、防营等旧式武装。他批评”向来各省所习洋操者不过学其口号步伐，于一切阵法变化应敌攻击之方，绘图测量之学，全无考究，是买犊而还珠也”。认为必须从装备、后勤、训练、指挥、军官培养，士兵选拔等方面全行仿效外洋，“试思环球各强国其练兵皆同此一法，而谓中华兵力最弱之国反能别创一器一法以取胜，此事理之所必无者也”。光绪二十一年（1895 年）十一月，张之洞于暂署两江总督期间，率先编练“江南自强军”。该军与胡燏芬于天津小站编练的”定武军”（后由袁世凯统领，改称“新建陆军”）同为中国近代最早的新式陆军。
“自强军”编制为步队八营，炮队二营，马队二营，工程队一营，官兵两干六百八十名。聘请德国军官三十五人，不仅担任训练教官，且掌营、哨两级指挥实权。士兵挑选十六岁以上，二十岁以下，身体健壮且无劣迹者。自强军训练时间不长，但已表现出完全不同于旧式军队的崭新气象。
光绪二十二年（1896 年）初，张之洞从两江返任湖广，以更大的热情，更大规模地编练湖北新军。他以从两江调回的护军营为基础，招募新兵，组建护军前营、后营及工程队一哨。又从自强军中选聘部分德国军官担任教习，但不再授于指挥实权。《辛丑条约》签订以后，张之洞又改聘日本教习，仿日本军制训练，并且扩充新军编制，计有护军左右两旗步队八营，马队一营，炮队一营，工程队一营；武建军左右两旗步队八营；武悄军步队四营；武防军步队四营；又护军铁路营步队四营。总计九千五百余人。光绪三十一年（1905年），清廷制定新军军制，计划在全国编成新军三十六镇。湖北新军被统一编为陆军第八镇（镇统张彪）和暂编第二十一混成协（协统黎元洪）。据光绪三十三年（1907 年）的统计，第八镇有官七百另二员，兵一万另五百员；第二十一混成协有官二百八十八员，兵四千六百员。这是清末仅次于拱卫京师的北洋六镇的最强大新军。
在张之洞亲自督练下，湖北新军兵强马壮，训练水平与北洋新军同居全国一流。光绪二十八年（1902 年），清政府令长江流域各省选派将弁赴武昌考察湖北新军的练兵之法，回省仿行。又命张之洞与袁世凯“互相讨论，参合中外，另订画一操法，名曰中国操典”。
张之洞督鄂十七年，兢兢业业，事必躬亲，“心血耗尽，夜睡仅五、六刻，午睡仅三、四刻，且甚艰难……每饭一瓯，仍不消化”。其辛勤劳作终于在荆楚大地开创出一番颇为兴旺的“新政”事业，张之洞本人于此也踌躇满志。面对武汉三镇林立的工厂和南北贯穿的铁路，张之洞在黄鹤楼草拟一副楹联，其自得之意溢于言表： 昔贤整顿乾坤，缔造先从江汉起；今日交通文轨，登临不觉欧亚遥。
张之洞将心血倾注于湖北，正所谓”劳歌已作楚人吟”；而荆楚大地也深深铭记他的名字，抱冰堂、奥略楼、张公堤、张之洞路，便是鄂人对这位劳绩卓著者的长久纪念。