整肃吏治，是张之洞治晋的第一步。经过访察，他发现“晋省可办事体甚多，惟习染太坏。病痛括之以懒散二字。……处此时势，不能不帅以清明强毅四字。先令整饬严肃，再议其他。”在《整饬治理折》中，他提出，“官之元气在官项无亏累，上司无诛求，贤否不颠倒，功过有黑白，而滥恩曲法不舆焉。”整肃吏治，便以此为纲目。
之洞接篆视事后，首发文告，令司道府州考察属吏优劣。经过明察暗访，查证落实，之洞处罚了“贪纵害民，书检不修”的萨拉齐同知定福，“私加厘金，剥商扰民”的候补直隶知州李春熙，“习染最恶，征收弊混”的补用知县洪贞颐、贪欠公款七万余两的总兵罗承勋、参将王同文等一批贪赃枉法的官吏，以压邪气。即便对于前任晋抚曾国茎宠信的藩司葆亨和冀宁道王定安，之洞也以其侵吞救灾款项，奏请罢免，毫不手软。为体现“功过有黑白”，之洞又褒奖”循良之吏”知府马丕瑶等六人，以正官风。为扭转晋省冗员充斥、滥芋充数者混迹其中的状况，之洞奏请朝廷”停止分发三年”，“干吏治仕途均有裨益。”
为了从制度上杜绝官吏损公肥己，徇私舞弊，实现“养廉课吏”，之洞“首将原议臣衙门公费一万九千五百五十两，共支卓饭银六千四百两暨此外一应查库门包等陋规全行裁禁，旋将通省公费，就光绪六年原定数目，体察情形，分别裁汰”.同时严申厉禁“馈送上司水礼之风”。晋省文武乡试，向归阳曲县承办。“所需食用各物皆省城行户及附省州县民间支应”，“行户藉口支差，从中渔利，科场之年，百物腾踊，不止三倍”。之洞下令从光绪八年（1882 年）起，乡试“另筹公款，将民间各项支应一律永远除免。”他布告属吏：“于陋规少一分治润，自必于公事少一分通融，所望凡我属大法小廉，同修职守，上报国家厚恩，下为民生造福，诸君子之善，本部院与有荣焉。古文云，以身教者从。以言教者讼，若身教言教而俱不从，本部院惟有白简从事，不知其他。”之洞以为，“驭胥吏之道与诗士大夫异，少恤其私然后可使不大溃吾法”。与其待贪赃枉法之后再行惩处，“不若明予体恤，严定限制”。山西旧制每年可奏销饭银约为地丁银的二千分之一，“今拟略准此数，从优倍给，定为千分之一，每年需善后销银一万两，解饭银十两”，如此办理，“部吏有纸笔办公之资，无从藉口，其于销案准驳，当可洗心敛手”。