据辜鸿铭回忆，他于张之洞幕府中——
一日晤幕僚汪某，谓余日：“君言皆从是非上著论，故不能耸听。襄帅为人是知利害不知是非，君欲动听，必从利害上讲，始能入。”后有人将此语传文襄耳，文襄大怒，立召余入，谓余曰“是何人言余知利害不知是非？如谓余知利害，试问余今日有诺大家事否？所谓利者安在？我所讲究者乃公利，并非私利。私利不可讲，而公利却不可不讲。”
明于公私之分，公而忘私，是中国文化传统中极被推崇的美德之一。历代先贤于此既有嘉言传世，更以懿行感人。先秦哲人韩非子论道：“人臣有私心，有公义：修身洁白，而行公行正，居官无私，人臣之公义也；污行从欲，安身利家，人臣之私心也。”宋代名臣范仲淹“先天下之忧而忧，后天下之乐而乐”的千古名句，将政治家公而忘私的品质升华到崇高的境界。而包拯、海瑞更以其刚直不阿、清正廉洁的政绩，赢得黎民百姓的“青天”赞誉。当然，先哲、贤臣们所谓”公心”、“公义”，非指全民利益，而是指君国的整体利益，张之洞的“公利”说也属这一范畴。
综观张之洞一生，确如他自己所言，“私利不可讲，而公利却不可不讲”，在明于公私之分，公而忘私方面，严以律己，终生不渝。这在贪赃枉法，贿赂公行的晚清政坛中，尤显其难能可贵。之洞为表白心迹，曾以“广雅”为其于两广所设书院、书局命名。幕客梁鼎芬为此释曰：“广者，大也；雅者，正也。大而能正，公元愧焉。”前文论到，之洞一贯主张“任人者治”，”凡百政事，皆须得人”。他任用属员的首要标准，是人品、气节。这也是辜鸿铭以他为“儒臣”而与曾国藩☆鸿章等“大臣”相区别的根据之一：“文忠（指李鸿章——引注）步趋文正，更不知有所谓教者，故一切行政用人，但论功利而不论气节，但论材能而不论人品。”之洞笃信“修己以安人”，“其身正，不令而行”的先儒教诲，认定“恤民必先恤官，治官必先治己”，“官无瑕疵，四民自然畏服，不必专心致志惟务箝民之口，须当惠法兼施，尽父母斯民之道。”他号召士子们，“廉正无欲，必有政绩可观”，以清正廉洁之风，为下属作出表率。
同治十二年（1873 年），张之洞出任四川乡试副考官，后又简放四川学政。他裁撤陋规，两袖清风，以至于“还都后窘甚，生日萧然无办，夫人典一衣为置酒”。升任抚督，官居二品，亦不讲排场，不事铺张。“自居外任，所到各省，从不用门丁，不收门包，不收馈赠礼物”。于广东任内过五十岁生日，为拒收寿礼，干脆紧闭辕门，不纳贺客。广州明伦堂士绅“以公兴学育材，撰文为寿，媵爆竹三万，至辕门不得入。异归明伦堂燃放，时以为趣事”⑨。光绪十五年（1889 年）七月，张之洞调补湖广总督。抵任之前，他便致电江夏、汉阳两县：“十一月中旬到鄂，所有公馆及衙署供应，务从俭朴，不得华侈繁费，不准用绸缎锦绣燕莱，不准送门包、前站礼。一切使费，所有到任供张，如有公款，勿过领款之数，如无公款，用过若干，开帐照数发还，万勿故违。”抵任后，又禁止官场赌博，演剧宴会奢侈，规定每宴客不得过五簋。
之洞书生本色，笃嗜典籍、古玩。在山西时，有人以宋本经史五种为赠，“不索值，但乞在山西听鼓当差而已”。但之洞秉公处置，“乃峻却之”。广东德庆县东有端溪水，其地有三洞，产良砚。唐人刘禹锡称“端州石砚人间重”。但自明嘉庆年间后，停采已久。商人何昆玉以办贡乏材，请开大西洞老坑以采石制砚，获利颇丰。此时之洞已离粤赴鄂，“商人谓督部在粤未尝求砚也，乃寄十方至鄂”。之洞予以时价每方二十金，以为“不悖于古人不携一砚之义也。”舔犊情深，人之常情。之洞对长子仁权，亦十分宠爱。光绪二十四年（1898 年），三十八岁的仁权中贡士，赐同进士出身，韱分户部任职。之洞望子成才，“今洋务最为当务之急，故拟令其至海外一游，或可开扩胸襟，增益不能。”为此，他特致函广东巡抚鹿传麟，”恳赐给一公牍，派其至东洋西洋各国游历考察武备水师陆军各事宜，学校章程及工商务等事”，“庶到彼得以博览考求，不至为人所拒耳。”并请声明“该员自备资斧，不领薪水”。之洞其时任湖广总督，经手选拔官费赴海外游学的青年学子，数以百计，加入仁权一人，可以说不成问题，但他没有这样做。退一步讲，鹿传麟是之洞的姐夫，“现领南洋”，托鹿出面，委仁权一公差，出洋游历，亦绝无不成之理，但之洞仍未这样做，而只是请鹿出一公牍，以为介绍。“此举于公事毫无干涉，于他人毫无妨碍，想可行也。”
清人吴敬梓《儒林外史》第八回，录有俗语对于贪官墨吏的讽刺之句：“三年清知府，十万雪花银”。号称“清廉”的从四品知府，三年任内，竟然可敛得十万纹银。那么声名狼籍者，更可想而知。相比之下，张之洞的清正廉洁、不事聚敛，更显难能可贵。他居官四十年，位及一品。按清制，一品文官岁俸一百八十两银，是为正俸，京官例支双俸。又正俸一两兼支米一斛。大学士俸米再加倍支给。即使按正常俸禄计，亦可谓家道殷实。但是实际上，之洞辞世后，“竟至囊橐萧然，无以为子孙后辈计”。连治丧所需费用，也出自门人、僚属的赙襚。辜鸿铭闻此，“回忆昔年‘公利私利’之言，为之怆然者累日。”
张之洞于钱财看得淡薄，但对于职守却兢兢业业，事必躬亲。抚晋之初，由于文案无人，“一切笔墨皆须己出，不惟章疏，即公牍亦须费心改定，甚至自创。”之洞自幼养成秉烛夜读之习。“在翰林时，讲诵恒至夜分”，“其后服官治文书，往往达旦。自言乃幼时夜坐读书故”。个人习惯，是一方面；更重要的原因，恐怕还在军国要务，不敢些许疏忽，日力不暇，乃继之以夜。之洞曾回顾自宫疆吏以来，“惟在晋两年，公事较简，此外无日不在荆天棘地之中”，未及知天命之年，便因“劳顿过度，心血日亏，须发多白”。在他的奏折、电牍中，我们可以翻检到许多强撑孱躯，抱病视事的记录。光绪十年（1884 年）在山西，”自人二月，诸病交作，心忡气喘，舌燥咽痛，日食一餐，仍复不能运化，言语稍多，即觉舌本枯强謇涩，力疾从公，未敢请假”。光绪十一年（1885 年）在广东，“夜寐不过数刻，罕有解带安息之事。……接晤同僚将吏、他省委员，每自平旦至于日暮，甚至夜未已。……患疮症，困顿床蓐，痛楚万状，仍力疾自作函牍，延客卧内，日与僚属筹措赈务。”光绪十三年（1887 年），”感受春寒，触动肝本旧症，郁塞作痛，医者谓病原在于用心太苦，有乖消息之宜。”光绪二十六年（1900年）在湖北，“衰病日甚，心血耗尽，夜睡仅五六刻，午睡三四刻，且甚艰难，久成怔忡之症。……忽则眩晕欲倾，忽则目花无睹。自去腊起，因勉强乘马，忽得腰疾，两足软弱无力，时常酸痛，治之半年无效，已成病疾。”光绪三十一年（1905 年），又患口疮，“将及一年，中医云系心劳肝火病在内，东医云系胃热牙虫病在外。……大率数日内公事顺畅、睡时较多则痛止，公事拂逆，睡时过少则痛剧。”与清未官场司空见惯的文恬武嬉、尸位素餐者流相比，之洞确实担当得起身后朝廷上谕所称“公忠体国，廉正无私”的美誉。
张之洞经营荆楚之地十八年，政绩昭然，口碑在民。光绪三十三年（1907年）六月，之洞奉旨授大学士，仍留湖广总督任。湖北各界”霍霍如失鹰师。军界醵金于宾阳门内，依山建抱冰堂。抱冰者，公晚年自署也。学界醵金于黄鹄山建风度楼。盖公道自在人心，卧辙生祠，庶几如古所云者。”之洞闻讯，立即手谕停工：
昨阅汉口各报，见有各学堂师生及各营将佐弁兵建造屋宇以备安设本阁部堂石像铜像之事，不胜惊异。本阁部堂治楚有年，并无功德及民，且因同心难得，事机多阻，往往志有余而力不逮，所能办到者，不过意中十分之二三耳。抱疚之处，不可殚述。各学各营此举，徒增愧歉。……俟他年本阁部堂罢官去鄂以后，毁誉祝诅，一切听士民所为，若此时为之，则是以俗吏相待，不以君子相期，万万不可。该公所该处，迅即传知遵照，将一切兴作停止。点缀名胜，眺览江山，大是佳事，何必专为区区一迂儒病翁乎？
尽管张之洞本人不赞成建堂兴楼之举，然而“谦尊而光”，在各界人士热心襄助下，风度楼仍于光绪三十四年（1908 年）竣工，抱冰堂也于之洞死后于蛇山东端建成。之洞得知风度楼已成，又致电继任湖广总督陈夔龙，“此楼关系全省形势，不可以一人专之”，建议更名“奥略楼”，取晋书刘弘传“恢弘奥略，镇绥南海”语意，并亲笔题写奥略楼匾额。
之洞之“私利不可讲”，已如前述。而于“公利不可不讲”方面，他亦为同侪中之佼佼者。
晚清洋务大吏，无一不以编练新式武装为要务。之洞于此，亦有煌煌可观之成就。他主持编练的湖北新军，无论从数量、质量方面衡量，都堪称全国一流水准。但与其他洋务大吏相比，之洞编练新军，可以说是完全出以公心。从曾国藩、左宗棠李鸿章直到袁世凯，无不将军队据为己有。曾、左之于湘军，李之于淮军，袁之于新建陆军，都以私家武装视之。因此朝廷对这些拥兵自重的汉族疆吏，时时怀有疑虑之心，惟恐尾大不掉。之洞则不同。他在晋筹办练军，在粤建广胜军，在两江编自强军，在鄂编练湖北新军，都是人一离任，军即交权。清末“新政”，张之洞、袁世凯同为风云人物，满贵集团深存戒心，设陆军部接管全国陆军。袁世凯反应强烈，以“直境幅员辽阔，控制弹压须赖重兵”为借口，要求将二、四两镇仍由自己“统辖督练”，只肯交出一、三、五、六各镇由陆军部直接管辖。相比之下，张之洞却无动于衷。之所以有此区别，是因为袁世凯视军队为个人命根所系，须臾不可离身；而张之洞却视军队为国家干城，与己并无直接利害关系，故尔泰然处之。
之洞久为一方疆吏，但并不以邻为壑，而是“不分珍域，通筹全局”。“从来举大事者必须毅然担当，不计小利小害乃能成功”。他曾于《到山西任谢恩折》中剖白心迹：“身为疆吏，固犹是瞻恋九重之心；职限方隅，不敢忘经营八表之略”。这后一句曾在京师引起不大不小的波澜，夙怨政敌纷纷揪住此话大张挞伐，说之洞心存僭越，图谋不轨，若雍正、乾隆帝在世，不要他的脑袋才怪呢！但是不管旁人如何议论，之洞于国事为重，确实做到“不分畛域，通筹全局”，因而博得慈禧“张之洞办事向来实心”的赞赏。中法战争中，广东边防吃紧，张之洞仍多方援助各地抗法军事行动，派潮军两营连同大批军火援闽；主动接济饷械与驻台刘铭传部；新组粤军赴滇抗敌，并承担全部费用。中日战争中，之洞对过鄂境北上御敌各军，无不助饷械，耗资数十万两。山东威海危急，他又主动送去快枪一千枝，子弹一百万发。山东巡抚李秉衡电谢曰：“我公统筹全面，谋国之忠，与人之厚，深钦佩！”
儒家经典《礼记·礼运》首倡“大道之行也，天下为公”。宋儒石介论曰：“善为天下者，不视其治乱，视民而已矣。民者，国之根本也。天下虽乱，民心未离，不足忧也；天下虽治，民心离，可忧也。”黄宗羲也说：“为臣者轻视斯民之水火，即能辅君而兴，从君而亡，其于臣道固未尝不背也。”出于地主阶级“公天下”的根本利益，张之洞“公利却不可不讲”的重要内涵，还包括体恤民情，以民为本。他“尝考从古帝王所以享国之长者，财力兵力权谋术数皆不足恃，惟民心为可恃。”他曾训导后辈：“悉故乡风味，稼穑艰难，于官途世事未必无益。”在他的诸多诗作中，也表露出忧民、恤民之情。僚属赠白瓜三枚，之洞啖之，赋诗一首：
光绪十七年（1881 年）冬，荆楚之地三得大雪，微雪无数。之洞于除日命笔，顾念农事堤工，市廛民情：
当然，统治者的“天下为公”，其根本立足点并不是包括广大民众的真正“天下”人的根本利益，张之洞“公利却不可不讲”之下的体恤民情，其实质也不过是基于对“载舟之水亦能覆舟”的清醒把握而作出的一种明智选择。但这毕竟从客观上有利于社会的稳定繁荣和民众的安居乐业，于道德情操也属上乘。