李渊大喜，即颁命太子李建成领精兵三万屯驻晋阳，择日开拔。齐王李元吉知刘武周已灭，晋阳已成为一个安全的大后方。本欲请旨再回晋阳，今见老大李建成抢了先，心中不悦。下朝后，尾随李建成来到东宫，央求道：
“大哥，晋阳是我的老窝，我在那也过的习惯了，晋阳的百姓也多次联名上书，要求让我回去。大哥还是给父皇说说，让我去晋阳屯驻吧。”
李建成笑笑，过来拍拍李元吉的肩说：
“你把晋阳丢了，人家收复了，你如今又要回去，恐怕晋阳百姓不会给你好脸色吧。即使老百姓无所谓，你返回太原坐享其成，恐怕在百官心中也不太光彩吧。况且，刘武周残部尚在，突厥又虎视眈眈，时刻想骚扰晋阳。我请求驻屯晋阳，也不是个好差事啊，说白了，也有一部分是代你受过啊。”
听大哥李建成这么说，李元吉又泄气了，手一摊说：
“那我现在怎么办？总不能和那些大臣一样，四更起床，五更上朝吧。循规蹈距，在父皇眼皮底下，玩也玩不成，我可受不了。”李建成这时心生一计，于是安慰似地嘱李元吉稍安勿躁，待他想个好办法。而后，示意从人摆酒上菜。
老大、老四哥俩因战功不如老二李世民，也不是晋阳首义之人，无形中俩人靠拢了，对李世民心怀嫉妒。现在几杯酒下肚，更是满腹牢骚。李元吉一拍桌子、震得盘碟乱跳，说：
“他老二有什么了不起？论打仗，我也不比他差多少，小的时候我也好射箭打猎。在晋阳时，我经常领亲兵家人进行实战演练，就连我的几个小妾，说起阵法，也一套一套的。”
“四弟何不向父皇请命，东征王世充？”李建成伸着头问。
“东征王世充也没有什么了不起，”李元吉捋捋胳膊说，“只是我大唐精兵强将多归老二统辖。我李元吉纵有天大的本事，一个人也攻打不了洛阳城啊。”
李元吉也不是个憨儿，说到这里，话锋一转，对李建成说：“俗话说，功高盖主。老二东征西讨，网罗了许多贤才勇士，也笼络了不少人心，大哥身为太子，乃未来的皇帝，不能不有所顾忌啊！”
这句话说到了李建成的心坎上，他端着酒杯默默无语，想了一想，把头凑近李元吉说：“老二功高，不但威胁我，而且也威胁你。我在朝中，常听他说你老二无能的话。当今之计，必须想方设法，分他的权力，培植咱自己的势力。”
“他是兵马大元帅，咱怎么分得他的权力？”李元吉问。李建成这才把心中的主意和盘托出，小声说：
“待明日我奏明父皇，让你与老二一起领兵征讨王世充，他为左帅，你为右帅，仗打胜了，你有功劳，打败了，责任全是他老二的。”
李元吉一听大喜，抓耳搔腮一番，又抖了抖袖子，仿佛自己已成了大败敌军的元帅。对李建成说：
“这事明天一定找父皇说成。我为右帅，打胜了，大哥脸上也有光。咱俩抱成一团，不信弄不过老二！”
武德三年（６２０年）七月，天气转凉，正是征夫容易披挂、战马易得肥满之时，秦王李世民率秦琼、尉迟敬德、屈突通、殷开山、李世勣、宇文士及、程知节、刘弘基等七总管及二十五员战将士率，约十余万人，东出潼关，进击洛阳。
李元吉虽未当上右军元帅，但仍被拜为侍中、襄州道行台尚书令、稷州刺史，领兵三万，随秦王李世民东征王世充。李渊亲率百官给东征将士送行，临别时嘱李世民说：
“元吉年少顽劣，然也是可塑之才。此次随军东征，可放手多让他习练兵法谋略。”
李世民点点头，答应拨三万兵马受其节制。
“郑国皇帝”王世充闻听唐军来击，下诏选诸州镇骁勇之士齐集洛阳，置四镇将军，募兵分守洛阳四城。同时命魏王王弘烈镇守襄阳，荆王王行本镇守虎牢，宋王王泰镇守怀州，齐王王恽检校南城，楚王王世伟领羽林军守宝城（朝堂），太子王玄应守东城（皇宫东），汉王王玄恕守含喜城（皇城南），鲁王王道徇守矅仪城。
王世充则亲率将士，其中左辅大将军杨公卿帅左龙骧二十八府骑兵，右游击大将军郭善才帅内军二十八府步兵，总计约三万精兵，以迎击唐军。
此一战打了近一年，王世充所属河南州县，相继降唐，王世充困坐洛阳，遣使乞夏王窦建德救援。窦建德想着先与王世充合力破唐，然而再寻机灭王世充，所以应允了，遂亲率十万大兵进军成皋。李世民率唐军阻击窦建德。窦建德布长阵二十余里，千面战鼓齐响，步步紧逼唐军。唐军坚守不战。夏军左等右等，见唐军不出，尽皆懈怠。唐军乘机出击，窦建德抵挡不过，最后受伤被俘。王世充见大势已去，只得率剩余部下二千余人降唐。河北诸县也相继归唐。