见唐俭一介武夫，却如此懂事，李渊非常高兴。命人上茶后，又打量了唐俭一番，才说：
“如今世事纷纭，四方之士莫衷一是，不知世侄对时事有何看法？”唐俭端起茶碗喝了一口，看着李渊说：
“这屋子没有别人，只有你我和世民三人，俭想说说心里话。如今隋室无道，天下可图。明公日角龙庭，李氏又在图牒。天下所望，已非一日。若能开府库，南号召豪杰，北招抚突厥，东收燕、赵之地，西驱渡黄河，占据秦、雍之地，海内之权，指麾可取。愿能以顺众望，则汤、武之业不远吴。”
李渊看着唐俭，问：“这都是你的想法？”
“明公，”唐俭拱拱手，“这非但是我唐俭的想法，也是天下有识之士的想法。平日我和世民也论及此事。”
李渊点点头，说：
“汤、武之事，非所望也，今天下已乱，言私则图存，语公则拯弱。卿宜自爱，吾将思之。”
唐俭站起来，抱拳当胸道：
“俭以后甘愿受明公驱使，虽死而不辞。”
李渊走过来拍拍他的肩，说：
“你以后就跟着世民吧，有什么事，他会及时安排的。”
一谈到起兵，李渊既不表示同意，也不表示反对，一副等等再说的样子。而时局发展地又如此之快，各地起义军势如破竹，力量迅速壮大，世民看在眼里，急在心里，日夜和刘文静、长孙无忌等人一块商议。同时暗地里指派手下，到晋阳各地，做好招兵买马的准备。
这当儿，一股突厥骑兵南下骚扰边境城镇马邑。由于突厥兵人数不多。李渊派副留守高君雅率兵前去围剿。哪知高君雅和马邑太守王仁恭是一对笨蛋，双双战败，几乎送了命。高君雅逃回太原，暗恨李渊派他这个差使，修密书一封送往江都，告李渊身为留守，作战不力，造成边患。隋炀帝见信，不问青红皂白，派使臣至太原，将李渊和王仁恭抓了起来，关进监狱，准备过两天押往江都。
晚上，李世民和裴寂以及刘文静来到监狱，探望李渊。支开狱卒，刘文静恳切地对李渊说：
“如今主昏国乱，尽忠无益。偏将犯法，罪连明公。事已紧迫，须早为计。晋阳之地，兵精马强，宫监之中，府库充盈。二郎折节下士，推财养客，群雄盗侠莫不为之用，以之举事，何愁不成！代王年幼，关中豪杰并起，未有归处。公若举义兵西进入关，安抚他们，拥有二都，则大业可图，犹如探囊取物。如今，只要明公一令，我们就救您出来。”
刘文静说得明白，李渊却默然不语。李世民在一边眼泪都快急出来了，他扑通一声，跪在父亲膝下，带着哭腔谏道：
“如今主上无道，百姓贫困，晋阳城外皆战场。父亲若死守小节，则上有严刑，下有盗贼。如今事急，若不起兵，祸在目前。如今，天授我李氏时机。万望父亲从儿主意，举义旗，夺天下，转祸为福。”
裴寂又凑过来劝说：
“事已急矣，宜早定计。天道辅德，人事与能，遇到时机而不发动，将要后悔。唐公领四郡之兵，当四战之地，命在图谶，帝业垂手可成，为何却在这里坐受杀戮？”李渊拉着李世民，小声说：
“隋朝的气数是要尽了，我家继承天命，不尽早起兵，是因为考虑你的兄弟和妹妹还在外边。如今为父遭牢狱之难，你们兄弟可先逃出去，以观时变，等待机会出兵，不要同受杀戮，家破身亡，为英雄耻笑。”
“父亲大人！”李世民哭着说：“芒砀（今安徽宿县西北）山泽，可以容人，请与汉祖一样，以观时变。”
李渊仍不同意救他出狱，他仍认为起义时机还不成熟。他怕自己像当年的杨玄感一样，以隋大臣起兵，而成众矢之的。李世民等人见他不松口，只得告辞而去，准备另想办法。
恰在这时，隋鹰扬郎将梁师都，起兵占领朔方，自称大丞相。又勾结突厥，占领雕阴等郡，被突厥封为“解事天子”。突厥势力南扩，朝廷正是用人之际，隋炀帝又派使者，赦免李渊，让其官复原职。但李世民欲举兵起事的决心却一刻也没有停止。这天与刘文静计议说：
“诸事就绪，父亲却迟迟不下决心，拖延时日，这如何是好？”刘文静眨眨眼睛，忽然笑了，召李世民附耳上来，嘀咕了一阵，李世民一听大喜：
“此计甚妙，咱们马上去办！”
当即，李世民派唐俭骑快马去龙山，把龙山令高斌廉请到家中。高斌廉素与李世民交好，听说有急事相召，便马不停蹄地跟着唐俭赶了过来。
进了客厅，只见八桌上摆放着许多金银，黄灿灿，亮晶晶，高斌廉闹不清怎么回事，笑着问世民：
“二郎搞这么多黄白之物干啥，显阔还是咋的？”
“听说你和裴寂裴宫监是一对好赌友，经常在一起博弈拼杀。”
“二郎问这干啥？”高斌廉有些不明白。李世民指着桌上堆得老高的金银说：
“我想让你和裴寂赌一把，只许输不许赢，把这些金银全部输给他。”
高斌廉一听更纳闷，摸着后脑勺说：
“裴宫监这人贪财，这些黄白之物输给他，正中他下怀，咱犯的是哪门子傻？”
“这你不用管了。”李世民说：“你只跟他说是替我出战就行了。”一听博弈，平日无所事事的裴寂就来了瘾，二话不说，赶到了李世民家中。高斌廉代表李世民和裴寂对阵，两人玩的是六博，即每人六粒棋子，先掷采，后行棋。平日，二人的棋艺半斤八两。今天不知怎么啦，高斌廉老是手臭，下了十局仅赢了一局。半天下来，小桌子上山似的黄金白银，就让裴寂赢了一大半，乐得裴寂哈哈大笑。又下了几局，高斌廉还是输，裴寂心里犯了嘀咕，老拿眼望高斌廉，心说，你今天有点不得劲，是不是拿二郎的钱作贱？