李渊又勉励二子一番。李建成、李世民跪地明誓，表示“家国之子、忠孝在焉”，坚决完成任务，若有闪失，愿受军法裁处。李建成这些年在河东，也没有白混日子，平日也研习了不少兵法。今见军队多为新招募的兵士，训练还不到位，行军举止都没有章法，于是边行军，边教以军法。你别说，还真管事，部队行军的步伐整齐多了。行军时，李世民总是一马当先，走在队伍的前列，遇到危险，就挺身而上。每顿饭也与士兵一起吃，颇得人心。温大有又与李建成、李世民商议，约定部队对百姓要秋毫无犯。行军中，见果蔬，非买不食。遇到乡绅里老送牛酒，则婉言谢绝。这支部队虽然年轻，但却得到了老百姓的一致好评。得人心者得天下，年轻的李世民已深深地明白了这个道理。
兵马顺利开到西河城下。李建成、李世民卸去铠甲，放下刀枪，空身至城下喊话，言明来意，做守城部队的思想工作，瓦解其战斗力。
此时，隋炀帝无道，偏居江都，天下几乎到了无主的地步，守城的官兵也禁不住自己考量，想寻条明路。西河郡司法书佐朱知瑾心眼早活动了，暗地里组织一些亲信朋友，准备反正。
高德儒高郡守执迷不悟，执意要当烈士，对着城下的李建成、李世民破口大骂，并令人放箭。兵无战心，箭矢也没有劲，纷纷射落在李建成、李世民的马头前。两人拍马回归本阵，李世民穿上铠甲，提着砍刀，对李建成和温大有说：“少跟他啰嗦，立即攻城！”
一声令下，兵士们嗷嗷叫地扑了上去。飞梯刚搭上城墙，李世民第一个往上爬，兵士们见状，备受鼓舞，人人奋勇争先，守城之兵见状，没等攻城的人爬上来，便弃械逃跑。高德儒见大势已去，急忙和几个亲兵护卫一块，换上百姓衣服，窜向城中。李世民等攻城战士未受任何抵抗，便涌入城中，城门大开，李建成、李世民，温大有率一队兵士，直奔郡丞府，开府办公。坐在郡丞府的大堂上，李建成自然高兴，摸摸这，看看那，又万分遗憾地说：
“没抓住高德儒，真是遗憾。”
话音刚落，只见郡司法书佐朱知瑾领几个人拖进一个人来，众人定睛一看，抓来的人正是高德儒。温大有比较熟悉这高郡丞，指着李建成、李元吉说：
“当年他路遇野鸟，硬说见到的是鸾鸟，佞惑隋主，以为祥瑞，才混得现在的一官半职。”
李建成拍手兴奋地说：“把这老家伙押往晋阳，让父亲大人看着也高兴高兴。”
一旁的李世民，却鼻子里哼一声，说：“这样的茅坑石头俯拾皆是，有何看头？来人呐——”
堂下站立的卫士应声上前，李世民也不和李建成商量，径自命令道：
“把这高德儒推出斩首示众！其他人等，一概免罪。”
李建成见李世民如此，心下不悦，却也没说什么。第二天，平定西河的军队即高奏凯歌，回到晋阳，来回才不过九天。李渊亲自到城外迎接，高兴地对左右说：“如此行兵，虽横行天下可也！”
这年六月，李密率瓦岗军围攻洛阳，大败隋军于平乐园。隋炀帝急命江都通守王世充、河南大使虎牙郎将王辩、河北大使太常少卿韦霁，率部增援洛阳。一时间，长江以北的隋军主力皆集中在洛阳战场上。长安城守备薄弱。李渊决定发兵进攻关中，夺取长安。为争取人心，多募兵马，李渊命令开仓放粮，救济贫民。此举大受百姓欢迎，来参军的人一天天增多。太原的总兵力已达五万余人。大业十三年（６１７年）六月十四，正式建立大将军府。裴寂等属下上尊号称李渊为大将军。李渊以李建成为陇西公、左领军大都督，管辖左三统军，李世民为敦煌公、右领军大都督，辖领右三统军，李建成、李世民各设官属，柴绍为右领军长史。
李渊首封裴寂为大将军府长史、刘文静为司马，唐俭和前长安尉温大雅为记室，温大雅与其弟温大有共掌机密。武士彟还干老本行，为铠曹，全面主管军供工作。刘政会、崔善为、张道源为户曹。原晋阳长姜谟为司功参军。原太谷长殷开山为府掾。长孙顺德、刘弘基、窦琛及原鹰扬郎将王长谐、姜宝谊、阳屯等为左、右统军。
总之，原太原留守府的各级官吏大部分留用，随才授职。
七月四日李渊任命四子李元吉为镇北将军，领太原太守，全权处理后方太原的一切事宜。五日，李渊率三万甲士誓师出征。
此次是起事之后的首次远征，场面搞得十分隆重。正阳门外宽阔的大校场上，三万甲士按分布排列，其中步兵营居前，骑兵营在后。兵士们皆铠甲鲜亮，枪刀闪光，甚是齐整、威武。校场周围，白绛杂色的旌旗猎猎作响。再远些，隔离栏之外，围满了百姓，大人小孩都伸着脖子看。
校场北边，面南背北，临时搭建了，一个高台子。台子上，李渊身着大将军服，坐于虎皮帅椅上。左右一字排开四十八名偏将，一个个挺胸昂首，威风凛凛。再往前，置两排座椅，坐着十几个裴寂等大将军府的主要官员。
滴水表前，值日官眼瞪得老大，见预定的吉时已到，忙举起手中的小黄旗，骤然一挥。誓师大会总指挥裴寂见状，挺身上前，手举铁皮喇叭，高声宣布此次进军关中的重大意义，而后请敦煌公李世民代表三军将士，宣读誓词。