多年以来，国内外许多知名人士抑或专家权威均坚持认为孔祥熙出身于山西“名门望族”。美国作家斯特林·西格雷夫在描绘宋蔼龄与孔祥熙于日本东京相遇相识进而发展成为一对恋人时，就曾大书特书孔祥熙的不凡身世，讲他出身“非同一般，乃孔圣人之嫡余后裔”，更重要的是孔家当年极其富有云云。孰不知，当年宋蔼龄与孔祥熙在东京相遇时，首先吸引她的还是孔祥熙敦厚的品性和杰出的才干，而绝非是其家世的如何富有等等。当然，因为孔祥熙是出身孔门的后代，使得宋蔼龄本来就对孔祥熙持有的一种好感也额外地升华了许多。圣人之后嘛！怎能不令人多加几分敬重呢。
1937年4月孔祥熙作为“中国特使”前往伦敦参加英王乔治六世的加冕典礼，在英国受到了王室空前隆重的接待和礼遇。据讲当时的英国王室所以如此盛情，并非因为孔祥熙是什么代表蒋介石的“中国特使”，而是因为他是来自世界上最古老的贵族世家孔门的后裔子孙。英国人对我们至圣先师孔子的景仰，使当时的孔祥熙平添了许多的风光。
1967年8月16日孔祥熙病逝于美国纽约后，国民党政府的所谓总统蒋介石在为其亲自撰写的悼词中，再次强调了孔祥熙出身“山西望族”并且孔家为“山西首富”等等。当时蒋氏在悼词中这样写道：
“太谷孔氏，本为山西望族。自庸之先生之祖庆麟公起，经营商业，其在太原所设行号为义源盛、在北平有义合昌、在西安有志诚信、在沈阳有源泉博、在广州有个茂兴药材行等。其他内地各重要城市以及东北各省与蒙古之库伦、新疆之迪化、越南之西贡，皆有其分号，遍布于全国。故世人皆称太谷孔氏为山西之首富。”
在台湾的一些作家和学者也都认为孔祥熙自幼生活在“富足安乐的大家庭里，融融泄泄，整天都是笑语欢声”，所以他的“幼年非常之幸福”等等。至少，人们坚持孔祥熙是出身“山西望族”，其家业虽有兴衰变幻之经历，但“仍不失为殷实之家”。
那么孔祥熙的家世包括其童年的生活到底怎样呢？我们且从其父孔繁慈这里具体谈起。
孔祥熙的父亲孔繁慈（1861－1911年），宇和亭，号和成，因生在读书世家，故在严格的家教熏陶下，孔繁慈自幼熟读经书，称得上饱学之士。孔繁慈曾考得前清贡生，后因祖训束缚，才弃学经商。虽然身为旧式商人，但孔繁慈仍不忘严谨治学，他精于文笔且写得一手漂亮的好字。即便在北京义合昌任文书以及后奉父命返乡主持太谷义源盛和三晋源期间，孔繁慈念念不忘的仍是读书和做学问。做为孔圣人的后代，孔繁慈的身上颇有几分中国旧式文人之遗风。他一生讲究忠恕，对官场的功名利禄看得很淡。孔繁慈一生最崇拜两个人：一位是亚圣孟子，另一位就是当时的维新志士康有为。他认为只有孟子才能真正领会孔子的“吾道一以贯之”并且遵守孔夫子的“忠恕”二字。所以孔繁慈也用“己所不欲勿施于人”来严格要求自己，就便是在他以后的教书生涯中，他也常用“己欲立而立于人，己欲达而达于人“来告诫子女和训导学生。当时孔繁慈崇拜的另一个人就是康有为。甲午中日战争·失败后，签订了丧权辱国的《马关条约》。为此一些有识之士深感中国要想摆脱西方列强的侵略和压迫，就必须向西方学习，实行变法以达到富国强兵的目的。当时，康有为就是这些“有识之士”的带头人，他上书光绪皇帝，主张变法革新。孔繁慈非常推崇康有为的变法主张，认为只有变法革新，古老的中国才有出头之日。为此，孔繁慈曾一度也积极宣讲变法的好处，以及守旧的弊端，且在当地颇受人们的推崇。
1879年孔繁慈正好年满18岁了。经媒人提亲，他决定迎娶太谷城西南15里之南张村庞宝恒的女儿庞三奴为妻。
那南张村坐落在太谷东山根下，是一个不大不小的村落。庞宝恒祖居此地，乃地地道道的大谷人，且几辈上均以务农为生。直到庞宝恒这一辈上，也是受世风影响兼之生计所需，庞家才在务农之余兼顾着经营起小杂货的买卖来。当时庞家的景况虽谈不上十分的富足，倒也不缺穿戴吃喝，也算一个小康水平的温饱之家吧。如此的岳丈家境，倒也成全了孔繁慈保守孔门一贯的俭朴家风的心愿。因为孔家祖上有训，后代子弟一律不准迎娶豪门富族的千金小姐为妻。
再说那位正处豆蔻年华的庞三奴，出落得丰满合度，端庄秀丽。加之她的性情极好，为人善良谦和，话语含笑；且又能背诵许多的古代诗文，还写得一手娟秀的蝇头小楷，故在当年堪称太谷的一枝花秀，人见人爱一般。为了这样一位标致可人的姑娘，当时登上庞门说亲提媒的人简直络绎不绝。甚至当时就有几位做官的或经商的达官贵人，亲自上门攀亲。然而到底还是三奴姑娘慧眼识人，加之父亲庞宝恒深明大义，于是绣球最终抛向了才貌俱佳的孔家三公子。就这样，在一阵喧嚣热闹的鞭炮声和锣鼓声中，那如花似玉的庞姑娘给仪表堂堂的孔繁慈娶回了程家庄井儿院。
新婚燕尔，两小夫妻婚后的生活自然是卿卿我我，好一番的恩爱美满，相敬如宾。很快的，小夫妻俩便欢天喜地地迎来了他们幸福生活的第一颗果实，这便是他们的第一个孩子孔祥熙出生了。
那是1880年的秋天。那一年的秋天，山西特别是太谷的气候竟异乎寻常地好起来，多少年来头一次破天荒地没有进人以往那令人心烦的雨季。一连着有多少天都是万里晴空，天高云淡。温暖宜人的气候几乎是头一回令当地人感受到什么叫秋高气爽。一时间人们陶醉了，他们惊讶地发现：秋天原来竟是这般的美好呀！
据史料记载，当时任山西巡抚的曾国荃也曾因此向朝廷奏报说：“山西连年遭灾，晋南各郡百姓大都外逃。但去年夏天至今，风雨调和，流亡人等陆续返回，筹备牛具籽种并开垦荒地。”
当时不同寻常的上天吉兆，自然在令人们匍伏感激的同时，也不免莫名地诧讶其由。极大的好奇心刺激着众人不停地在内心琢磨：难道真的是我们终年辛勤劳作最终感动了上苍，以至上苍恩赐给太谷百姓如此难得的好天气和好收成？或许，上苍就是用这样一个丰润的好年景，来证实“善有善报，恶有恶报”的真实可靠？一时间人们三乡五里地奔走相告，众说不一莫衷一是。到后来，还是一位在方圆数十里内颇有些名望的风水先生，一边摸着山羊胡子一边作了权威性的结论：
“咱们太谷，要有大人物临世喽！哈哈哈！”
当时瞧那风水先生眉开眼笑、喜不自禁的模样，人们不由得左顾右盼，仿佛那预言中的太谷大人物已经降临到了他们中间似的。不过后来，几十年过去后当孔祥熙飞黄腾达，官拜国民政府行政院长和财政部长、号称中华民国的“财神爷”并且在相当一段时间里举足轻重、权倾朝野时，太谷人不禁想起了当年那位风水先生，且始信当年那风水先生的预言果然不谬。
是年的9月11日，旧历八月初七，距传统的中秋佳节还有8天时间了。在太谷程家庄，人们依旧为生计忙碌着，并且准备着要过八月十五的中秋节。忽然，一阵劈劈啪啪的鞭炮声从井儿院孔宅内传出，紧接着便是“哇”地一声婴儿响亮的啼哭传出。那啼哭清脆稚嫩且又格外震耳，仿佛真在提醒着人们，别忘了这一天不同寻常一般。
这一天便是孔祥熙的生日。
根据乾隆皇帝当年的钦示，凡孔氏家族所生子嗣，均要依照族谱规定的世系字辈取名。如有不依字序随意取名者，当逐出本族不准加人族谱。可以说，孔氏家族所以千百年来世系不乱且敢于号称“天下孔姓为一家”，其中重要的一个原因，恐怕就在于孔门的族谱规定十分严格。
依照当年乾隆皇帝钦定的字序，孔繁慈这一辈用了一个“繁”字，那么紧随其后的便是个“祥”。于是孔繁慈就给刚刚出生的儿子取了一个正好吉祥且又温文尔雅的名字：孔祥熙。
孔祥熙出生以后，孔夫人庞氏对孔门的这第一个宝贝儿子倾注了一个东方女性所特有的可说无微不至的爱心。她日夜守护在婴儿的摇篮旁，一边为丈夫缝补着衣衫，一边为儿子唱那一段又一段的古老动听的中华民谣：
嗯……”
望着儿子那甜美如梦的笑容，母亲庞氏的心简直都陶醉了，她得到了极大的欣慰和满足。
当小样熙1岁多方能听懂大人说话时，母亲庞氏便开始给他讲一些动人的童话和有趣的传说。她娓娓道来，还辅以手势和表情，讲得十分动听。小样熙每每瞪大了眼睛，听得如痴如迷。仿佛，他已经从母亲所讲的那些美好的故事中，得到了不浅的启迪一般。的确，当年孔祥熙最初的启蒙，也正是在母亲所营造的那个童话世界里完成的。通过母亲所讲的那些古老的故事，孔祥熙打小时起就知道了许许多多的历史人物，初步了解到了人生的艰辛和善恶的分辨，同时也知道了不少大自然的奥秘诸如天上为什么有星星啊？冬天为什么下雪啊？等等。
1883年孔祥熙3岁时，母亲庞氏又给他生下一个妹妹。依据族谱，父亲孔繁慈给这个妹妹起了一个名字叫孔祥贞。
尽管家中添了妹妹，但母亲并未因此放松对孔祥熙的管教和培养。孔祥熙4岁起，母亲庞氏便开始手把手地教他临摹字帖习字，且开始诵读《三字经》等启蒙读物。其后不久又开始学习《论语》。孔祥熙自幼就显出天资聪明伶俐，记忆力又异乎寻常的强。他听母亲讲述几遍《三字经》后，就能“人之初胜本善”地即席背诵起来。听着儿子那清脆悦耳的诵书声，母亲庞氏坐在一旁简直喜得合不拢嘴了。
但幼时的孔祥熙毕竟是一个男孩，天性好动贪玩，所以练字时常常拴不住心猿意马，一时难能坐下来专心致志。由于书法不见长进，当年的小祥熙没少受父亲的训斥和责打。后来长成之后孔祥熙的字依旧写得一般，这恐怕也和他幼时习字基本功不够扎实有着关联。
有一回孔祥熙又在院里漫处地乱跑，一不小心，他跌了一个跟头。当时，跌伤了额头还流了不少的血。情急之中，家里人便劈头盖脸地训起平素负责照顾小祥熙的丫环来。那小丫环当年也只是个小姑娘，比孔祥熙年长不了几岁，她怎么能看顾好竟日上窜下跳猴子一般顽皮的小祥熙呢。一时间那丫环有口难辨，只好满腹委屈地抹着眼泪，等待东家打发她回家了。当时，孔夫人庞氏走了过来。她先是仔细地察看了一番儿子的伤势，一见跌得并不算重，便劝家人消消气，别再难为那个小丫环了。就这样，一场小小的风波平息了。从此，孔夫人庞氏的仁慈之心也在孔府佣人中间留下了一个好名声。
然而令人扼腕慨叹的是，果真“好人没长寿，赖人活个够”。自孔家添了女儿之后，那庞氏身上的负担更重了。她不仅要看顾嗷嗷待哺的女儿，又要督促心爱的儿子读书习字，同时还有不少的家务要她照管。终日过度的操劳，最后竟累垮了庞氏的身体，她不幸染上了当时称为痨症的肺病，身体日愈的虚弱下来。但为了夫君也为了孩子，庞氏依旧苦苦支撑着不肯躺下，以至终于有一天她病倒了，并且一病不起。当时孔繁慈虽然也竟日在外奔波着生计，但由于他已染上了吸食鸦片的恶习并且毒瘾一度很重，导致家中境况一落千丈。待其妻庞氏病重躺倒时，孔家居然抬据得拿不出钱来为庞氏治病了。后来孔繁慈所以终身未再续娶，除了考虑儿女不受委屈之外，恐怕在很大程度上也有当年对爱妻的负疚心理起着作用。
没过多久，庞氏这位年轻贤惠的母亲，便望着自己那一对可怜的小儿女，眼中噙着泪水，依依不舍地撒手去了。
母亲去世那一年，孔祥熙只有6岁，而妹妹孔祥贞则只有3岁多一点。
童年本该是人一生中最美好最难忘的一段时光，因而也格外地惹人留恋。但是当童年生活展现在每一个儿童面前时，却并非都是充满阳光的灿烂日子。童年生活对有些儿童来说，的确是充满无穷乐趣的；而对另一些儿童来说却是悲凉和黯淡的，以至他们在很小的时候就泯灭了童心的天真和活泼。
幼年失母同时又被困苦的生活所折磨，这段经历对孔祥熙来说太难忘也太深刻了。本来小祥熙可以天天依偎在母亲膝下尽享那无穷无尽的母爱，可转眼之间他就要和穷人家的孩子一起去“捡烂炭”，这一切都像一幅图画一样，深深印在了孔祥熙的脑海里，简直刻骨铭心一般。所以当他后来上了教会学校读书后，很长一段时间内都不愿归返故里，并且也不愿别人提起孩提时代的光景，以免徒增感伤。
而中年丧妻对孔繁慈来说，其精神打击就更大了。过往日子里夫妻感情甚笃，尽管生计后来有些艰难，相互间却始终恩爱体贴，享尽天伦之乐。而今只一夜之间，孔繁慈却要独守孤灯，形影相吊。尤其是老宅屋内遍布爱妻旧物；睹物思人，孔繁慈不免更加心灰意冷，为伊憔悴。
当时也曾有好心人苦劝孔繁慈再续娶一门亲事。一来因为难忘爱妻，二来孩子都还太小，搞得不好恐遭继母的拳头。孔繁慈考虑再三最后还是婉言谢绝了众人的好意。他决心要父代母职，既当严父又做慈母。这在当年，男子三妻四妾习以为常的旧中国封建社会，孔繁慈为把孩子抚养成人而一生未再续取，应该是十分难能可贵的。
但孔繁慈毕竟也忍受不了整日触景生情、睹物思人的折磨，思来想去他决定离乡出外谋生。于是料理完妻子的丧事后，孔繁慈带上一对小儿女，锁起程家庄孔氏老宅的大门，投奔距县城15里的南张村岳父那里去了。
只是，孔繁慈的岳父庞宝恒此时也已家道中落，仅仅经营了一个小商铺，卖些本小利微的杂货勉强维持，因此也无力资助孔氏父子了。
最后没办法，孔繁慈只好设了一间私塾，当起了教书先生。最初来人学的儿童并不多，只有八九名，孔繁慈对他们进行最初级的启蒙教育，并以其微薄的收人，领着孔祥熙和孔祥贞艰难度日。直到后来，人学的孩子逐渐多了起来，一来因为孔家乃方圆数十里内最有名的书香世家，开馆设塾亦算家传；二来孔家几代人的人品名声俱佳，乡亲们觉得把孩子交给孔繁慈心里放心。再到后来，路远一点的甚至要托人说情方可人学，最后人学的儿童陆续增加到30多名。孔祥照也做了一名父亲私塾里的学生，而且是一名年龄最小的学生。
孔繁慈对孔祥熙的学习要求相当严格，没有因为孔祥熙是自己的儿子，就在学习上或其他方面给予优待。相反，孔祥熙在背书、习字和阅讲等方面，都要按照私塾中的规章认真完成，一招一式从不马虎迁就。
孔祥熙被父亲带到了一个全新的充满乐趣的世界里，朗朗的读书声强烈吸引了他。而孔祥熙也确实没有辜负父亲对自己的厚望，他严格要求自己，苦练基本功。从6岁到10岁四年的寒窗苦读，使孔祥熙打下了扎实的国学基础。同时，他也逐渐对中国的传统文化尤其是对《诗经》、《礼记》等发生了浓厚的兴趣，以至后来孔祥熙到教会学校读书后，每次放学回家他都仍然请父亲为他讲解一会儿《诗经》或《礼记》。而且，直到后来孔祥熙留美归来办起了“铭贤”学校，他自己也每每亲上讲台讲授《诗经》、《礼记》。后来，当孔祥熙脐身政界后，在一些社交活动中，他习惯在谈话或讲演中经常地夹带几句《论语》和《孟子》中的警句，以显示其相当深厚的国文功底，此一点已被世人公认。孔祥熙一生崇奉的两句话就是：“不学诗无以言，不学礼无以立。”应该说，孔祥熙如此深厚的文化底蕴，首先是得益于其父所办的私塾，而且他真正的启蒙老师，便是他自己的父亲。
太谷人常把孔繁慈比作鲁迅笔下的孔乙己。其实，这种比喻很不切实的。表面上看孔繁慈和孔乙己相差不多，尤其是孔繁慈站在讲台上向学生讲授“之乎者也”时的模样与孔乙己一边喝着酒一边盯着碗里的茵香豆、嘴里叨念着“多乎哉，不多也”时的形象极为相似。但是，我们还应该看到，这两个人的内心世界和精神追求却是迥然相异的。孔繁慈一生淡泊旷达，痴心于教书育人的功德事业并且虽穷困而不悔、虽富贵而不移。此一点恐怕就是孔乙己一类旧文人的没落心态所无法比拟的。通常以当年孔繁慈的能力来说，他凭本事养家糊口以至追求富贵荣华，也不是一件如何虚无飘渺的事情。尤其是在太谷当年，人们都以商为荣以穷为耻，孔繁慈当时却能毅然地弃商从教，选择了当年并不为人看重的穷教书匠的职业，其勇气和执着还是令人十分钦佩的。
即便到了后来，孔祥熙留美归来创办了铭贤学校之后，本该去当老太爷享享清福的孔繁慈却依旧在儿子的学校里执掌教鞭讲授国文，由此亦可见出其对理想选择是多么的坚定，追求是多么的执着。
正当孔祥熙在父亲开办的私塾里苦读诗文。培养本领之际，不期祸从天降。一场莫名其妙的大病袭来，竟差点要了他的小命。然而也正是因为这场大病，就此改变J”孔祥熙一生的命运。