新旧学制交替之际，师资问题实为当务之急。仅知“子日诗云”的塾师，显然无法胜任声光电化之教学。广兴学堂所需要的数量庞大、知识结构全新的教员从何而来，成为新学制能否全面推行的成败关键。张之洞于此有诸多论述。他多次强调：“振兴教育，必先广储师资。师资不敷，学校何以兴盛？””各属开办学堂，全赖师范得人，课程方能合度。管理才能得宜。”“国民教育必自小学始，欲得小学教育，必自养成师范始。……是以兴办师范尤为小学之先务。”由此形成他的师资论。
在湖北推行新式学堂之始，张之洞为解决学堂师资之急需，曾从经心、两湖、江汉三书院选派优等学生“赴日本习师范，以为速成师范之预备”，但这毕竟不能从根本上解决师资的大量需求，于是决定在省内创办师范学堂。光绪二十八年（1902年），张之洞在武昌城东宾阳门以南创设湖北师范学堂，以东路小学堂附属其旁，作为学生教学实习之处。课程除普通学科外，另加教育学、卫生学、教授法、学校管理法等科目。学额一百二十名。速成科一年毕业，正科二年或三年毕业。该校与张謇于同年开设于江苏的通州师范学校，同开中国近代教育史上最早的独立、完备的师范教育之先。
张之洞高度重视师范教育在整个教育体系中的基础地位。他在《筹定学堂规模次第兴办折》中说：“查各国中小学教员咸取材于师范学堂，故认师范学堂为教师造端之地，关系至重”。故尔在“各学堂办法十五条”中，将师范列为第一的位置。为解各地新学大兴的燃眉之急，他极力主张先办师范速成科。在给学务大臣张百熙的信中，张之洞提出：“方今国势危急如救焚拯溺，夜以继日，犹恐不及，至师范速成科尤为紧要。若待完全师范毕业必须五年，各省小学堂将待五年后再开乎？”他率先于湖北开办速成科，供各属学堂之急需。张之洞认为，教育的质量取决于教师的质量，而合格的教员非经正规师范训练不可。兴学之初，湖北各地出现学堂发展过猛的情况。黄州府中学堂学额定为二百四十名，荆州郧阳两府中学堂的学额也定为一百六十名。张之洞看出其中的弊端，立即札饬各府暂停中学，先办师范传习所。札文称：”小学不兴，不但普通实业各中学堂无合格学生，而国民教育亦终无普及之一日。”他批评各府盲目发展中学堂“实为懵昧可异。……其实府中学堂此时安有许多合格学生，此正如无根之条终归于萎，虽长奚为，无址之墉立见其倾，虽高安用，徒张虚名，不求实济，始基一坏，补救无从，可谓不思之甚，错谬之甚者矣。”与其办一些名不符实的中学堂，不如扎扎实实从抓合格师资入手，办好小学堂，以强固国民教育之基础。因此，“饬各该府将所设中学堂一律暂改为初级师范学堂，或先办速成师范，或先办师范传习所。”
光绪二十九年（1903年），张之洞奉旨参予重订学堂章程。他重视师范教育的思想，在“癸卯学制”及《学务纲要》中得到充分体现。《学务纲要》载明：“师范学堂，意在全国中小学各有师资，此为学堂本源，兴学人手第一义。在“癸卯学制”中，各级各类师范教育相互配套，形成独立的完整体系。初级师范与中学堂平行，相当于现在的师范专科学校，优级师范与高等学堂平行，相当于现在的师范学院或师范大学。此外，还有简易师范科，师范传习所，实业教育讲习科等。中国近代师范教育的格局，从此得以奠基。