祖孝孙这才领会了太宗皇帝的意思，忙躬身说道：
“圣上英明。功成而作乐，治定而隆礼，我大唐疆土辽阔，理应斟酌南北，考以古音，制定自己的雅乐。”
“朕说到这里，卿打算以哪些乐为新乐的基础？”
“制定雅乐，不外乎这十部——”祖孝孙掰着手指头如数家珍地说，“第一是燕乐，第二是清商，第三是西凉乐，第四是扶南乐，第五是高丽乐，第六是龟兹乐，第七是安国乐，第八是疏勒乐，第九是康国乐，第十是高昌乐。”
“行，这事你太常寺尽快去办。”太宗说着，又指着那些花枝招展的宫女说，“你先教教这些宫人，给朕听听，以后再向民间慢慢推广。”
最怕和女人打交道的祖孝孙面有难色，但又不敢说什么，只得答应一声，起身告辞。
祖孝孙走到殿外，已觉得头上汗津津的，他摸摸索索想从袖筒里掏出手帕擦擦汗，早有一个香喷喷的巾帕递在他眼前。祖孝孙吓一跳，回头一看，几十个如花似玉的宫女跟在身后，笑眯眯地看着他。
“你，你们——”祖孝孙眼前一花，结结巴巴地说不成句。“哎呀！”打头的那个递给祖孝孙手帕的宫女，眉毛一挑，大惊小怪地说，“怎么祖大人看不上我们？不要我们？”
“这，这从何说起？”祖孝孙以袖掩面，结结巴巴地说着，低头就要走。
“哎！”宫女们早已围上来，挺胸把他拦住。“这，这……”夹在女人堆里祖孝孙手足无措，不停用衣袖擦着头上的汗。探讨音律，沉浸其中，祖孝孙比谁都行，但要面对如花似玉的女人，他可是一个地地道道的外行。
一个近侍挤进来，祖孝孙急忙拉他的手。求援地说：“公公，你看，你看这——”
“是皇上叫她们跟你学乐啊，怎么，你敢抗旨？”那近侍愣着眼说。一听这话，祖孝孙更急了，朝众人作个罗圈揖说：“今儿天色已晚，改天，改天。”
好容易摆脱这群寂寞的宫女，回到家中，祖孝孙草草吃了口晚饭，坐在书房里，对着那些乐器长吁短叹，夫人见状，扳着他的肩头问：
“怎么啦老爷，谁惹你了？”
祖孝孙摇摇头，推开夫人的手，说：“没啥，没啥。”
闷葫芦问不出个所以然来。面对宫女，祖孝孙确实不好说什么。第二天在太常寺，草草地应付了那些宫女，借故有事，祖孝孙溜了，如此三天打鱼、两天晒网过了一个月，太宗把他召去，训道：“命卿以乐教宫人，但却不肯用心，有负朕望！”
祖孝祖唯唯诺诺，心里已急成一片。苦着脸不知说什么才好，太宗继续寒着脸说：
“昨晚朕让她们演了一遍，散散垮垮，乐声不谐，音律不对，都说你不肯用心教，要你个太常少卿，还有啥用！”
孝祖孙见皇帝生气，早吓得满头大汗，叩头不已……
及下得殿来，迎面碰上王珪和温彦博，二人把他拦住，说：
“看祖大人这愁眉苦脸的样，准是为了教女乐不称职，让圣上训了一顿。”
祖孝孙苦着脸，又是摇头，又是摆手，说：“别提了，别提了。”
王珪嗬嗬笑道：
“太常少卿作《唐雅乐》，以梁、陈之音多吴楚，周、齐之声多胡夷。于是斟酌南北，考以古声，与协律郎张文收共修定，颇有树建，如何教不得几个宫女啊？”
祖孝孙一听，更是急得脸上通红。温彦博解围道：
“祖君木讷，谦和，持身严正，难教宫人，待我俩给圣上说说去。”两人又安慰了祖孝孙一下，然后迈步上殿，行过大礼。王珪对太宗说：
“祖孝孙持身严正，谨慎从事，陛下命教女乐，又一再责备，天下人共知，误以为陛下有轻天下士子之意。”
太宗一听王珪以此责备自己，刚才还未消的火腾地又冒上来，呵斥道：
“卿等皆我腹心，当尽忠献直，何以附依下属，欺罔君上，反为祖孝孙说话！”
温彦博见皇上发怒，但还是躬身把话说完：
“孝孙妙解音律，非不用心。孝孙雅士，陛下忽命教女乐，恐天下怪愕。”
“什么话！”太宗一拍龙案斥道，“朕让他教几个宫人又怎么啦？要你们过来说三道四！”
温彦博见皇上的火越发越大，忙跪在地上，再拜谢罪。王珪仍是直挺挺地站着，冲太宗说道：
“臣本来侍奉隐太子，罪已当死。陛下矜恕性命，不以不肖，引为枢密门下。陛下责臣以忠直，今臣等所言，岂为私耶？陛下以臣有私，欺罔君上，诮呵臣等，是陛下负臣，臣并不负陛下！”王珪保持那股倔劲，说完后气呼呼地站在一边，看那气劲，似乎比太宗皇帝还大。太宗看了看站在旁边的房玄龄等人，见没有打圆场的，只得自家喘着粗气沉默了一会，挥手散朝。王珪当面顶撞皇帝，到底还是为公不为私。太宗想来想去，想明白了，第二天早朝，太宗又提起这事，并对房玄龄等人说：
“纳谏一事，自古皆难。昨日朕责王珪后，朕甚后悔，公等不要因此而不进直言。”房玄龄躬腰称是，太宗又问：
“朕让你重新规划川县建制，如今怎么样了？”
“正欲上奏陛下。”房玄龄拿个手本说。