军机处，是清朝统治集团特设的辅佐皇帝的政务机构。雍正七年（1729年），因用兵西北，设军机房。三年后，改称办理军机处，简称军机处。入值者为军机大臣，无定员，最多时可达六、七人。其职责为每日晋见皇帝，承旨办理军国要务，用面奉谕旨名义对各部门、各地区发布指示。从此内阁被架空，军机处成为实际上的皇权执行机构。如此枢要之地，入选当然十分要紧。军机大臣均从大学士、尚书、侍郎中选拔，其领班者实为首相，一般称“首辅”。光绪末年行“新政”，设“政务处”，仍以军机大臣领督办事。有清一朝，入军机者人数寥寥，且多为满族亲贵，汉人人参军机者，更属凤毛麟角。
“东南互保”发生之后，慈禧太后便有意调张之洞入参军机，以为“一石三鸟”之谋。既可利用之洞卓越的行政才能以固朝纲；又可以此举调节因“庚子事变”而恶化的与列强、特别是与英国的关系；更重要的是将张之洞从其经营十数年的湖广调离，可防止其尾大不掉，与朝廷分庭抗礼，而这种现实危险于“东南互保”时已现端倪。张之洞知悉此中奥秘，力辞不就。光绪三十三年（1907 年），清末“新政”进入“预备立宪”阶段，朝中办事大臣匮乏。满蒙权贵庆亲王奕劻等营私有术，治国无方。汉族枢臣李鸿章去世已六年，继任者王文韶、瞿鸿 等经验、声望、能力都不能望李项背。满清贵族统治集团急需物色新的汉族官僚代表充实权力中枢，笼络人心，推行”新政”，延续统治。张之洞、袁世凯因“新政”实绩和威望，成为首要入选。
不可否认，此时慈禧太后调张之洞入京，仍包含猜忌、控制之心，但不同以往的是，之洞的实力、地位、声望都较之几年前又有长足发展，而“新政”又必须依仗张之洞为代表的汉族官僚集团势力，方有实际推行之可能，这已为中外、朝野所公认。在这种情况下，张之洞不再拒绝入参军机，名正言顺地进入清末权力中枢。
光绪三十三年（1907 年）五月，奕劻参劾协办大学士、军机大臣瞿鸿机企图推翻戊戌成案，“归政”光绪。瞿因此获咎，谴归故里，协办大学士空缺。五月十一日，张之洞补协办大学土。六月十四日，授大学士。七月二十七，补授军机大臣。八月初三日，张之洞离开他惨淡经营十数年的荆楚大地，入京履新。
张之洞以步入“古稀”之年，登上朝廷权臣极峰之位，心情可渭一言难尽。其中既有对慈禧的知遇感恩之情，又有“受命于危难之间”，挽大厦将倾，拯神州陆沉的暮年壮心，然而更多的却是对于“君臣未世自乖离”的深切焦虑，“忧时感事乃十倍于平日也”。此外，对于权力中枢内部微妙关系的处置，之洞也不无隐忧，“大臣不和之事时有所闻，其机实起于细微，而其害驯至于倾轧”。
正是在这种复杂的心绪困扰之下，张之洞为挽救一个腐朽的王朝、一种衰败的制度而耗干自己的全部心血。
出于对时局和社会心理状况的分析，张之洞一向认为“化除满汉畛域”是推行“新政”的首要内容，不如此便难以抵制民间日益高涨的“革命排满”思想，无法平息积怨二百余年的民族矛盾，也不利于调动汉族地主阶级的庞大力量来拱卫统治秩序。还在光绪三十年（1904 年）元月，张之洞完成在京纂修学堂章程之命，返回湖广总督任前陛辞请训，便已“力请化去满汉畛域，以彰圣德、遏乱端”，但慈禧以“朝廷本无畛域之见，乃无知妄加揣测耳”，将其驳回。此次张之洞以大学士、军机大臣身份再次犯颜直谏：“欲御外侮，先靖内乱，探源扼要，唯有请颁布告天下，化除满汉畛域。”鉴于国内实际早已存在、且日益严重的革命排满危机，慈禧这次不得不采纳之洞的建策，于八月初二日发布上谕，一方面继续自我美化，声言开国以来对“满汉臣民，从无歧视”，指责民众“犹存戒心，自相纷扰”，另一方面不得不从事实上承认“满汉畛域”的存在，“究宜如何化除，著内外各衙门，各抒所见，将切实办法妥议具奏，即予施行。”此后，清廷也确实作出种种姿态，如取消满汉异法，允许满汉通婚等，以图化解尖锐的民族矛盾。
但是，清末满清贵族集团早已失去其先辈开拓、进取的博大胸襟和气度，而随着其统治秩序的江河日下，他们囿于极端狭隘的集团私利的民族猜忌心理，更发展到病态的程度。光绪三十四年（1908 年）十月，光绪、慈禧几乎同时死去。年仅三岁的爱新觉罗·溥仪即位，是为宣统皇帝。其父醇亲王载沣任摄政王，皇室乘机集权，排斥汉官。载沣自统禁卫军，代行大元帅职，其弟载涛、载洵分充训练禁卫军大臣和筹备海军大臣。对于“少年贵胄骤起以操持大事”，张之洞出于公心，“固争以为不可”，并因此与载沣等发生激烈争论，终因“孤掌难鸣，不得已而萌退志，告病数月，竟至不起矣。”
张之洞入廷枢后的另一重要举动，是谏阻诛戮袁世凯。
载沣、铁良、良弼等满贵集团加紧集权，目标首先针对手握重兵的袁世凯。光绪三十二年（1906 年），袁世凯提出取消军机处，设责任内阁，铁良等坚决反对，另提出设陆军部统辖全国军队，军权“集于中央”，借以削弱袁的势力。双方“舌剑唇枪，互不相下”，以至时人担忧，“恐酿大政变”。后经慈禧决定，否决责任内阁之议，仍设军机处，并于公布各部新官制时，宣布各部尚书“满汉平等”，而实际上却是满族亲贵“联翩而长部务，汉人之势大绌”，铁良出任陆军部尚书，掌握中央军权。
光绪三十四年（1908 年），慈禧死去，袁世凯的地位更加岌岌可危。对此袁世凯早有预见：“朝中公正老臣都已谢世，朝政尽入贵胄之手，弟此次得跻高位者，赖有太后之宠眷耳。然而慈宫春秋已迈，犹如风中之烛，一旦冰山崩，皇上独断朝政，岂肯忘怀昔日之仇，则弟之位置必不保。”袁世凯于戊戌年间出卖光绪帝，素为帝系贵胄所切齿。而光绪之死，又盛传系袁世凯毒害所致，所以光绪之弟载沣摄政，大权在手，便一心为其兄复仇，必诛袁而后快。 对于宫廷内部错综复杂的利害关系，张之洞了然于胸。虽然袁、张之间也有隔阂，但毕竟二人同人军机，在革除朝弊、推行“新政”方面颇多共同语言，而且又因同为廷枢汉官，而受到满族亲贵集团的疑忌，因此二人又有同病相怜之感，彼此援引，“深相结纳”。
慈禧临终之前，安排后事，由溥仪继帝位，其父载沣摄政，征求袁世凯的意见，袁“一力赞成”。并派其子袁克定密告英国公使朱尔典，朱称“目前似无较此为佳的安排”。袁又将此话转告载沣，企图借列强之势巩固自己的地位，同时也含有希望载沣念其拥戴之功，抛弃夙怨之意。但是，载沣并不买帐。他摄政不久，即以袁世凯瞒着自己与美国谈判互派大使为口实，密谋杀袁。满贵集团极力怂恿：“从前袁所畏惧的是慈禧太后，太后一死，在袁心目中已无人可以钳制他了，异日势力养成，削除更为不易，且恐祸在不测。”载沣又征求奕劻、张之洞的意见，奕劻表示反对，张之洞也说：“主少国疑，不可轻于诛戮大臣。”他的想法是：“主上冲龄践祚，而皇太后启生杀黜陟之渐，朝廷有诛戮大臣之名，此端一开，为患不细。吾非为袁计，为朝局计也。”载沣认为此言有理，便于宣统元年（1909 年）元月二十一日发布上谕，称袁“现患足疾，步履维艰，难胜职任”，“着即开缺回籍养疴，以示体恤之至意。”袁世凯虽对此恨得牙根发痒，但也只得忍气吞声，作韬晦计，返回故乡河南，以图东山再起。
张之洞谏阻诛戮袁世凯，本意是缓和权力核心内的满汉矛盾，避免祸起萧墙。然而此举并未能挽回清王朝的颓势，却使袁世凯日后复出窃国成为可能，这又是之洞所始料未及的。