“你我如此交好，为何陷我于不义？”
裴寂抓着李渊的手，低声说：“二郎近日密聚人马，欲举义旗。”
“此事可当面计议，让我酒醉入宫，岂不是惹来杀身之祸？”
“唐公，”裴寂悄声说，“正是裴寂以宫女侍公，才断绝您的后路，若不急急起事，恐此事败露，遇到不测。”
“竖子，何想出如此馊主意？”李渊整整衣服，恨恨地说。
“唐公，别再迟疑了。”裴寂又说：“亲朋、故旧皆愿协力以助。如今事急矣，若守小节，死亡即在旦夕，若举义旗，必得大位。”
“二郎何在？”李渊叫道。
裴寂一招手，李世民从屏风后走出来。李渊看着他直喘粗气，好半天才定下心来，长叹一口气，指着李世民说：
“这些天来，我不是不想起事，只是觉得还没到时候。如今出了这档事，只有扯起大旗，一条路走到底了。如今，破家亡身也由你，为家为国也由你了。速派人招回李建成、元吉，通知你妹夫柴绍，便可定夺。”
见父亲主意已定，李世民异常高兴，跪地磕头：“孩儿谨遵父命！”
“这宫女侍寝的主意到底是谁出的？”定了大计以后，李渊还念念不忘这档子事。
李世民一招手，刘文静也从屏风后走了出来。李渊看着他，鼻子里“哼”了一下，说：“你的馊主意还真不少哩！”
大业十三年（６１７年）四月。远在河东的李建成、李元吉接到父亲的手谕，即飞马赶往晋阳，同时柴绍也自长安奔来晋阳。这当儿，马邑富豪隋鹰扬府校尉刘武周，杀死马邑太守王仁恭，集兵万余人，自称太守。又领兵攻占汾阳宫，依附突厥，被始毕可汗封为“定杨天子”。其势直逼晋阳，成了李渊一个不大不小的心腹之患。
在议定起兵的秘密军事会议上，刘文静提出起兵前，为防备刘武周来扰，必须北连突厥，曲节附之，换些马匹，以壮声威。众人表示同意，李渊当即修书一封，云：“现欲举义兵，远迎皇上，复与突厥和亲，如同开皇之时。若能允我南下，请约束部从，勿扰百姓。若仅仅和亲，可得到大量珍宝，请可汗定夺。……”书信送到始毕可汗的手里，可汗掂量再三，对部属说：
“杨广是个不守信用、杀心极重的人。如果南去将他迎来，他一旦攒得兵力，必然杀唐公而乘机攻我，以报前仇。唐公深明大义，数次欲与我交好，不若封其为天子，为我所用。我也不避寒暑，以兵马以助之。”
始毕可汗派专使持书信，把这意思传送给李渊。见始毕可汗愿借兵马相助，部将们都很高兴，纷纷说道：“可从始毕之言，一来解其威胁，二来也借得兵马使用。”李渊却迟迟不语，思想斗争很激烈。他沉思良久，方说：“若从突厥之言，向其称臣。兵马未动，先得不臣之罪。师出无名，难以集结各地义兵。万一起兵失败，更无退路，岂不落个国破家亡，骂名千古。”
刘文静在旁劝解道：“今举义兵，缺的是战马。唐公可复信，只要其马，而不要其兵，如此也可保持名节。”
李渊仍觉不妥。李世民和刘文静等人商量了一会，又提出一个办法说：
“若师出有名，不为天下人骂，可先尊今上为太上皇，北取长安，立代王侑为帝，以安隋室。然后传檄郡县，改换赤色隋帜，易以类似突厥的绛白二色，虚应突厥。”
李渊见实在没有别的好主意，只好答应说：
“此乃掩耳盗铃，明眼人一下就看破，然时势所迫，只好如此了。”在修书向突厥要马匹的同时，起事的各项准备工作也在紧张地进行着。全国虽然乱得一团糟，但晋阳却多年无战事，要起兵，必须先把民心搞乱，使老百姓更加心离隋炀帝。暗地里，李渊让刘文静伪造了许多敕书，张贴晋阳各地，言隋炀帝要征发太原、西河、雁门、马邑等四郡二十岁到五十岁的百姓全部当兵，再次进攻高句丽，年底之前，所征兵丁必须赴涿郡集中。隋炀帝穷兵黩武，三征高丽，均大败而归，死者百万，“勿向辽东浪死歌”唱遍天下，谁还愿再去征高丽？一时间，太原各郡的老百姓人心惶惶，痛恨隋炀帝，想起事造反的更多了。当时李渊手中只掌握着七、八万士兵，要起义，这些兵力是远远不够的，起兵前，首要的任务就是募兵。太原副留守王威、高君雅作为隋炀帝的亲信，还拥有相当一部分权力，手中也控制一部分军队。招兵如果不通过他们，势必要出乱子。
这天，李渊在留守府召开军事会议，专门讨论对付刘武周的问题。会上，李渊两手一摊，一脸愁容地对大家说：
“马邑贼帅刘武周杀死王太守，又据汾阳宫，又被突厥封为‘定杨天子’。我们太原兵少，仓促之间不能捕灭。罪当灭族，如何是好？”
前次王仁恭、高君雅对付突厥时，吃了败仗，留守李渊差点被解江都治罪，众人尚心有余悸，见李渊又如此一说，都害怕起来。李渊的眼睛单往王威、高君雅的脸上瞅，王、高二人最怕被派出去打仗，遂满脸恭敬，一起拱手向李渊说：
“唐公英明神武、善于以少胜多，诸事还请唐公多拿主意。”
李渊摇摇头说：“以少胜多，须在特殊条件下方能行得通，岂能屡试不爽？如今朝廷用兵，动止皆禀告节度。如今贼在几百里以内，江都却远在三千里外，且郡县多为他贼据守，道路险阻，急切之间难以回应。如今若以守城之弱兵，去战巨贼，必难保全，说不定连晋阳也一块搭上。我思考了好几个晚上，都没有好办法。进也是死，退也是亡，到底该怎么办？”