甲午之战以中国方面的惨败告终。马关签约，举国震惊。光绪二十一年（1895 年）闰五月二十七日，张之洞上《吁请修备储才折》，痛陈条约之害：
“此次和约，其割地驻兵之害，如猛虎在门，动思吞噬；赔款之害，如人受重伤，气血大捐；通商之害，如鸩酒止渴，毒在脏腑。”
作为“力求补救”之策，之洞提出九条应急措施，头两条便是“宜亟练陆军”、”宜亟练海军”。这反映出当时朝野上下检讨战争失利原因而得出的基本共识。
对日作战，陆、海两线全面失利，充分暴露了清朝的腐败，尤其是军制的极端落后。李鸿章的淮军从朝鲜到奉天，一溃千里。继淮军之后北上抗敌的湘军，同样不堪一战。刘坤一、吴大澂所率十余万众，几乎未与日军认真交锋，即全线崩溃。清廷的“精锐之师”淮军、湘军相继惨败于“东瀛岛夷”之手，深深刺激了包括张之洞在内的朝廷要员，“修明武备”的呼声日高。出使英俄大臣许景澄在一份奏折中说：“自辽海军兴。战守不利，中外论者，审溯兵事得失，无不以仿用西法，创练新兵为今日当务之急。”正如一位美国学者日后评论：“日本军队给中国上了痛苦的一课，告诉它一支东方的军队，能够在组织、训练、纪律和运用上做得多么好。”
光绪二十一年（1895 年），清廷颁布诏旨：“一代有一代之兵制，一时又有一时之兵制，未可泥古剂以疗新病，居夏日而御冬裘也。”表明了采用西法，编练新军的决心。在这一决心付诸实行的过程中，暂署两江总督张之洞创建的“江南自强军”与广西按察使胡燏芬（？—1906）刨建的“定武军”（即袁世凯“新建陆军”之前身），同开时代风气之先。
光绪二十年（1894 年）冬，清政府令胡燏芬于马厂地方编练新军，后又移至天津以南七十里的小站，以淮军周盛传部营地旧址为练兵场。胡燏芬招募壮丁，编成十营”定武军”，“一切操练章程，均按西法办理”。稍晚于胡燏芬，张之洞于光绪二十一年（1895年）下半年，开始着手筹建新军。原计划万人规模，后因经费短缺，压缩编制，从卫队、护军营中选拔精壮士兵二千六百余人，编成步队八营、炮队二营、马队二营、工程队一营，定名“江南自强军”。自强军仿德国军制，马、步、炮、工程诸兵种混合编成，以适应现代战争要求。各兵种均分营、哨两级建制，步兵每营二百五十人，分五哨；炮兵每营二百人，分四哨；马队每营一百八十人，分三哨；工程营一百人。各营均配备医官、枪匠、兽医等。
为了尽得西法练兵之真髓，张之洞以高薪聘请来春石泰等三十五名德国军官为自强军教习。他们不仅充任操演教练，而且被授于营、哨两级指挥实权。从有利中国将并尽快掌握新式练兵之法着想，张之洞“选武职中壮健有志，不染习气者为副营官，选天津广东两地武备学堂出身之学生为副哨官”，随时学习洋弁编训整备之术。之洞还规定，“其带兵操练之权，悉以委之洋将弁，而约束惩责之权，则专归华官。”
自强军作为清末最早出现的新式陆军之一，明显表现出迥异于湘淮勇营等旧式武装的新气象。时人这样评介自强军的操练情形：
“自强军者，全军操练仅八阅月，马军乃一月有余耳。……士躯之精壮，戎衣之整洁，枪械之新练，手足之灵捷，步伐之敏肃，纪律之严谨，能令壁上西士西官西妇观者百数，咸拍手咋舌，点头赞叹，百吻一语曰：“不意支那人能如是，能如是。”
自强军训练精强，声名显著，吴淤、江阴、镇江等地旗兵勇营纷纷邀请自强军派员前往教习，使之改练洋操，提高军力。
在编练自强军的过程中，张之洞总结出“学堂出身之人，究视未学者领会较易，长进甚速，是学堂有益，确有明徽”，遂决定于江宁仪凤门内和会街地方创办陆军学堂，择年十三以上、二十以下，文理通顺能知大义者入学，学额一百五十名。为适应自强军的编成要求，学堂专业分马队、步队、炮队、工程队各门，“各门约以二年为期，二年后再令专习炮法一年，又须略习德国语言文字，以便探讨图籍，大约通以三年为期”。学堂聘请五名德国教习，讲授兵法、行阵、地利、测量、绘图、算术、营垒、桥路各种功课及马、步、炮兵种各种阵法。