李渊南下逼进到霍邑（今山西霍县）之时，正赶上连绵梅雨，军队被宋老生挡在关隘外无法寸进。且由于军中人数增中多，粮食缺乏。李渊便和裴寂商量，准备返回原。
这时，李世民便找到李渊哭谏道：“父亲大人，现在正是春粮收获季节，田野到处都是麦谷，何必担心粮食不够？如果我们一遇到顽强的抵抗，就立刻班师撤兵，恐会让投靠我们的将士失望，此消彼长之下，我军将大势去矣。”
而李建成也支持李世民的主张，反对退回原。
李渊反复斟酌了一阵，又与刘静商义之后，方同意与隋军在霍邑交战。
在战斗开始之前，李渊在西北列阵，李建成在城东列阵，李世民在城南列阵，宋老生领军出战，取得了一定优势。
但李世民却从城南率骑兵直冲隋将宋老生主阵，从背后夹击隋军。李渊与李世民合击，隋军腹背受敌，遭到惨败。宋老生被杀，霍邑也被攻克。
随后李渊相继攻克临汾郡和绛郡（今山西新绛县），进逼龙门（今山西河津县西北），关中势力最大的一支武装孙华和冯翊（今陕西大荔县）守萧造投降了李渊。
六月，李渊率兵围攻河东郡（今山西永济县），隋朝名将之一的屈突通领兵固守，导致李渊久攻不克。
上时，裴寂认为应不惜任何代价攻下河东郡，然后再进入关中，以免后被屈突通截断。
但李世民则认为兵贵神速，应该直捣关中，以免关中被薜举或梁师都袭占。
而在李渊看来，这两种意见都有道理，如果不消灭屈突通而直接入关，那么前面有长安隋军，后面有屈突通援兵，自己会腹背受敌。
如果一直用老师疲兵围攻河东郡，关中隋军就有充分时间组织抵抗，甚至会得到来自东都的支援，失去战机。
李渊权衡了两种意见之后，决定各取其长。
他于是分兵两，留下李神通和李孝恭围攻河东，牵制屈突通。而自己则率领李建成、李世民大军直接攻取长安。
李渊率军从壶口渡过黄河，攻取了潼关，然后留李建成扼守潼关，阻挡关东隋军来援。而李世民则从渭北进入辅，横扫关中各地。
由于李阀在关中颇有声望，关陇地方豪强纷纷投降李渊，关中的局势迅速一边倒。
七月，李渊汇合李建成、李世民、刘弘基之兵二十余万攻打长安。并下令军中士兵不许侵犯隋朝七庙和代王宗室，违令者夷其族。
然后，在一阵号角声中，李渊
…。。