明永乐年间，朝廷迁徙山西人口充实畿辅及川、陕、湖广一带。这是中国历史上一次著名的大移民。直到今天，民间依然传诵着“要问祖先来何处，洪洞城北大槐树”的寻根谣。本书传主张之洞的先祖张本，也跋涉在茫茫的迁徙人流中。
张本从洪洞来到京畿漷县（今北京通县一带），安下家来。经过两代耕读，张本的孙子张端，官居南直隶繁昌县获港巡检，又举家迁至天津府南皮县（今属河北省），于东门印子头置产立业。张氏家族从此定居于此，声名渐盛，号”东门张氏”。张端之子张淮于明正德年间进士及第，官至河南按察使，“以文章忠义有声于时”。张淮七传至乃曾，即之洞高祖，为清代山西孝义知县，乃曾之子怡熊，官浙江山阴知县，“两世为具令，皆以廉惠闻”。之洞祖父廷琛，字献侯，以贡生资格任四库馆誊录，后议叙福建漳浦东场盐大使，又题补古田知县。乾隆五十三年（1788年），因闽浙总督伍拉那等贪污、纵盗案，督抚藩臬十余要员下狱，牵连甚广。廷琛不仅洁身免祸，还多方“调护拯救”，甚获时誉。
之洞的父亲张锳，字又甫，号春潭，生于乾隆五十八年（1493 年），早年丧父，家境窘迫，“食贫力学”，于嘉庆十八年（1813年）乡试中举。张锳将家徙居南皮城南三里双妙村，这里便成为张之洞的故里。中举后，张锳屡赴会试不第，以大挑补贵州安化知县，又调贵筑知县，后迁古州同知，擢兴义知府（所辖在今贵州安龙布依族苗族自治县一带）。张锳一生三娶。原配刘夫人，布政司经历刘廷武之女。继娶蒋夫人，四川嘉定知府蒋策之女。再娶朱夫人，四川邛州直隶州知州朱绍恩之女。道光十七年八月初三日（1837年9月2日），朱夫人生之洞于兴义知府官舍。之洞以上，有一个哥哥之渊，以下有两个弟弟之澄、之涌，还有八个姐妹。堂兄之、之清因父早亡，也被张锳收养，如同亲生一般。这是一个颇为热闹、殷实的大家庭。
道光二十年（1840年），朱夫人病逝。三岁的之洞当然记不得母亲的音容笑貌，但母亲生前喜爱抚弄的两尊古琴，却常常勾起他的思念之情：
生母死后，之洞由父亲的侧室魏氏抚养。魏氏无子，待之洞如己出。母子感情甚笃。光绪十三年（1887年），魏氏卒于南皮。此时之洞在两广总督任内，闻报十分悲伤，“白衣冠为位而祭”，“循礼成服”。对魏氏亲属来粤者，亦“以戚谊待之”。
张锳对子侄管教甚严。他礼聘远近名儒为子侄侍授“乾嘉老辈诸言”，又购书数十橱，“令于日课外，听以己意观之”。之洞四岁发蒙，从附生何养源受读。拔贡曾搢之，附贡张蔚斋，举人黄升三、王可贞、张肖、赵斗山，进士敖慕韩，先后作过他的业师。有严父督促，名师指教，童年的之洞十分勤勉，读书“非获解不辍，篝灯思索，每至夜分，倦则伏案而睡，既醒复思，必得解乃已。”学业因此大进。八岁读完四书五经，十岁开始习作诗文。兴义府署比邻试院，院内有天香阁，立树石佳胜之间。之洞读书习字、赋诗填词于其中，每得怡乐。他曾集此时诗文为一集，曰《天香阁十二龄草》。张锳高兴地将其寄给之洞的伯父一阅，伯父复函以“敛才勿露”为最。之洞终身诵之。
十二岁以后，之洞又先后师从韩超、丁诵孙、重云逵、袁燮堂、洪次庚、吕文节、刘僊石、朱伯韩，研习经学、小学、古文学、史学、经济之学。他还尝从父亲的挚友胡林翼（1812—1861）问业。胡林翼、韩超十分器重少年之洞的才气，而之洞一生奉行经世实学，亦受胡、韩二人影响为最。