裴寂末一句没说完就不说了，这是他裴寂一贯的风格，话让人听出意思来，又不全说出来。
封德彝也表现出一副忧心忡忡的样子，说道：“秦王倚仗有大功，不服处在太子之下，如果不立他当太子，希望早点作出安排。”
高祖不说话，拿眼看着裴寂，意思要裴寂拿拿意见。裴寂想了许久，好像是经过一番深思熟虑：
“太平盛世，也不需要秦王来领兵打仗了。不如封秦王一个逍遥王，削其全部官职和兵权。限定一个地方让其终老一生，这样于国于家都有利。”
高祖听了，并不点头认可，但心里有了罢黜秦王的念头。转过一天，高祖召来萧瑀、陈叔达，想听听这两个直性子人的意见。
话一开头，高祖刚要把罢黜秦王的话说出来，陈叔达就第一个站出来旗帜鲜明地表示反对：
“秦王有大功于天下，绝对不可黜也，且性情刚烈，若加挫抑恐不胜忧愤，或有不测之疾，陛下悔之不及！”
说得有些道理，高祖仍不服气，又提起张婕妤父亲要地那件事，气呼呼地说：
“他也太过乖张，连朕的手诏都敢违背。”萧瑀接过话头说：
“此事事出有因，应另作别论。秦王以英名行事，处事端正，从未有什么违规的行为，一些枝节也是一些别有用心的人信口说出。”高祖听了这个话，听了那个话，心里拿不定主意，罢黜秦王的念头也渐渐地消了下去。
不打仗了，李世民的大半心思却要用在怎样对付东宫和齐王府上。除派张亮做陕东工作外，还在秘密策反李建成、李元吉的手下。这天下午，天下着毛毛细雨，李世民一身便装，乘着一顶不起眼的小轿，悄悄来到长孙无忌家中。
长孙无忌早早在角门口接着，两人是妹夫舅子关系，用不了多客气，李世民问：“人来了吗？”
“来了。”长孙无忌前头带路，引李世民一路曲里拐弯来到后院，后院西北角落柴禾垛旁，有一间杂物房，长孙无忌推门让李世民进去，好家伙，里面豁然开朗，装饰精致，桌椅床凳一应俱全，密室建得不错，李世民满意地点了点头。
密室没有窗户，几只大白烛燃得正旺，照得四壁亮闪闪的，靠墙案几旁边的太师椅上，早有一个人。见有人进来，忙站起身来：“秦王殿下。”那人认清了来人，就要跪下行礼，李世民紧走两步，一把搀住。
“这是太子率更寺内率更丞王至，”长孙无忌介绍说，“早已是我们的老朋友了。”
“请坐，坐下说。”李世民客气得不得了，亲自拉过椅子让给王珪。
王珪并没有显得受宠若惊，还一个礼，待秦王坐下，自己才从从容容坐下，静听秦王发话。
“前次差长孙先生送去一些薄礼，率更令丞为何又退了回来？”李世民微笑着问。
王珪答道：
“至职为太子率更令丞，收受殿下金银于理不合。”这话表面光滑，却有些于理不通。身为太子的人，私谒秦王难道于理应当？李世民笑着问：
“那率更令丞为何又帮我呢？”
“至一向佩服殿下，感殿下德威，心向殿下，为义而不为财也。”
这话李世民爱听，他连连点头，向王珪简略谈了谈目前形势，谈了谈他与太子、齐王的过节，王珪很明白这事，悉心听教。李世民见对方很诚实，最后又情不自禁许愿道：“率更令一心向我，他日必有厚报之时！”王珪看了一眼长孙无忌，说：
“此处没有外人，容至直言，东宫及齐王府私养骁勇，多达数千人，就在京师的军事实力而言，东宫加上齐王府要比秦府强大，殿下若想在非常时期掌握主动权，必须在玄武门将领身上下功夫。”
王至是聪明人，一语道破关键。玄武门即宫城北门，地位重要，是中央禁卫部队屯宁之所，控制玄武门，即把握了宫城的命脉。李世民老谋深算，早有此意，且已着手开展这方面的工作。但他仍显得有些不解地问王至：“玄武门门卫将领常何是东宫旧属，恐难以争取。”
王至拱手道：“殿下记得年上在东宫饮酒呕血时，淮安王抱殿下避往西宫，紧急之时，即是常何放行。若无忠心，定不会放过殿下的。常何虽随太子平定过河北，我观此人，私下还是敬慕殿下的。”
拉拢常何的工作，李世民已做得差不多了，今天王至提起这事，李世民装作不明白，顺便又问了一些常何的事。又聊了一些别的话，王至怕离开东宫久了有人怀疑，先告辞走了。李世民和长孙无忌就在密室摆开酒菜，密谈起来。说起李建成的猜忌和李元吉的蛮横，长孙无忌挑明话头说：“当今之势，非你即我，非生即死。殿下仁厚，不愿‘骨肉相残’，但东宫、齐王府却时刻准备‘骨肉相残’。先下手为强，后下手遭殃，反正是下手，还不如早下手！”
长孙无忌直言不讳地阐明了自己的心意，李世民早已在心里想过，要想实现自己君临天下的抱负，只有策动政变；政变的第一步就要杀掉李建成、李元吉。骨肉相残，这是怎样一个局面？李世民在心里千思万想过。干，就要成功，若不成功，徒落个千古骂名，惹天下人耻笑。
即使在大舅子兼心腹面前，李世民也表现得很含蓄，他沉默了一会说：