李淵在誅殺王威、高君雅之後，在太原郡招兵買馬了兩旬，得兵數萬，亦完成了造反準備，終于決定扯旗了。
十一月五日，李淵在晉陽城設起義堂（亦稱號令堂），將軍隊分為三軍，統稱「義士」。裴寂等尊稱李淵為「大將軍」。
十一日，李淵在晉陽城建大將軍府，自稱唐公，以長子李建成為隴西公、左領軍大都督，統率左軍；以次子李世民為敦煌公、右領軍大都督，統率右軍；以四子李元吉為姑臧公，統率中軍。以裴寂為大將軍府長史，劉文靜為司馬，殷開山為掾，劉政會為屬，長孫順德、王長諧、姜寶誼、楊屯、劉弘基、竇琮為左右統軍、副統軍。
至此，李淵完全打響了造反的號角。
不過李淵听聞黃明遠已經率軍征討劉武周的叛亂，心中擔憂。他知道留給自己的時間不多，務必要盡快西進關中。
十一月十五日，李淵在晉陽宮城東的乾陽門街軍門前豎旗誓師，誓文中歷數了隋煬帝楊廣的種種罪惡，宣布要「興甲晉陽，奉尊代邸，掃定咸洛，集寧寓縣」。並任命四子李元吉為鎮北將軍、太原郡守，讓其留守晉陽城，並以竇抗第三子竇誕、大將軍府屬劉政會、鎮北將軍府長史宇文歆等人留守晉陽。
晉陽城堅，且糧儲豐富。李淵留兵兩萬，並組織青壯萬余人守備，就是為了給他南下爭取更多的時間。
甚至為了安定軍心，他把十三歲的兒子李元吉都留在了晉陽城內。
但這些人都是消耗品，若是能守住晉陽城最好，若是守不住，也沒有辦法，只能盡可能地爭取時間。
十六日，李淵親率長子李建成、次子李世民及甲士四萬人自太原郡揮兵南下，直指關中。
唐軍進軍迅速，十六日起兵，到了二十一日便攻破了西河郡，郡司法書佐朱知瑾等人投降，唐軍生俘西河郡丞高德儒。高德儒不降，被李淵下令誅殺。
二十五日，唐軍兵至賈胡堡，距霍邑五十余里。在這里，他們遇到了第一個攔路虎大隋虎牙郎將宋老生。
霍邑是雀鼠谷的南頭，地形險要。
宋老生屯兵六千，駐守此地，據險而守。
此時寒冬已至，到了二十八日，終于降下了今年冬天的第一場大雪。寒風呼嘯，雪花紛飛。
唐軍冒著大雪，沿小路趕到霍邑城下。
唐軍叫陣，宋老生也不是傻子，這種情況下，只要守住霍邑，唐軍必然會因為嚴寒而不得不撤退，又何須出戰。
因此宋老生命麾下緊守不出。
李淵命劉弘基上前挑戰，可還沒到城前，便被一群箭雨逼退。劉弘基不得不狼狽退回。不過劉弘基也有辦法，他在軍中找了十多個嗓門大的，對著霍邑城頭叫罵，什麼污言穢語都有，把個守軍氣的七竅生煙。
不過宋老生看出了這是誘敵之計，任憑唐軍罵破大天，他也不搭理。
唐軍罵了一天，口干舌燥，一無所獲。
眼看誘不出對方，李淵乃下令強攻。但是效果出人意料，這麼大的雪，城牆上盡皆冰凍，士兵根本無法攀越，攻城數日，卻是損失慘重。
造反之事，一鼓作氣，再而衰，三而竭。剛開始的時候，大家都斗志昂揚，期盼著造反成功，加官進爵，封妻蔭子，但現在進展不順，不少人激情退去，開始恐懼。
很多人仔細想想，這造反有點不靠譜啊。況且從太原到關中，數百里土地，數十個郡縣，十多萬軍隊，能是這麼容易便打過去的。
這時不少人便心生退意，與其沒多少希望地入關，還不如退回太原，憑借堅城固守，至少尚有個退路。
于是便有人前來面見李淵，請求撤退。
剛開始還只有一兩個，到後來，不少將領成群結隊地趕來，請求李淵退回太原，不要冒著大雪攻城。
軍心不穩，李淵眼看諸將勸阻，也是沒有辦法，只得決定，若是三日後再攻不下霍邑，便率軍撤退。
李世民听到這個消息就驚了。
開弓沒有回頭箭，只有殺入關中，憑借關中巨大的資源，才有可能問鼎天下，現在返回太原，四面皆是隋軍，就是死路一條。
不過李世民在軍中並沒有太多的話語權。
現在的李世民的身份只是李淵的次子。他雖然是右軍統帥，但畢竟年紀小，沒什麼經驗，又沒有參加晉陽起事，因此身份、地位都不高，在軍中就是一個空頭主將。實際上李淵所設置的三軍，中軍留在了晉陽，左軍在李建成手中，右軍則直接統屬于李淵。
這輩子的李世民，跟兄長李建成地位差得太遠。
然而李世民還是來到軍中去見其父李淵，因為這不僅僅是他父親一個人的事。
「父親，我們不能撤啊，否則就前功盡棄。」
相比較稚女敕的李世民，李淵就老到多了，他當然知道不能退，而且也沒有想過退。越過霍邑，便是廣闊的河東大地，甚至是關中沃野，退回太原，跟黃明遠死磕嗎？
「我知道不能退， 所以你要陪我演一場戲。」
李淵早有定計，現在無論如何，要把人心安定下來。李世民听得父親的吩咐大喜，于是依計行事。
李世民在李淵帳中，突然大聲喊道︰「請父親不要返回太原。」聲音之響，帳外俱聞。
「逆子，此事我已決定，立刻撤兵，你無需再勸。」
李世民跪下來抱著李淵的大腿說道︰「父親，我等本興大義以救蒼生，當須先入長安，號令天下，以正身份；若遇小敵即班師，將恐從義之徒一朝解體，人心盡喪。還守太原一城之地，此為賊耳，何以自全！到時候必為階下囚。」
「混賬！」
李淵一腳將李世民踹倒，又將他趕到帳外。
這時李世民便在帳外大聲哭泣道︰「今兵以義動，進戰則必克，退還則必散。眾散于前，敵乘于後，到時候我軍敗亡，不過是須臾之間。」
李世民的疾聲痛呼終于引得一眾有識之士跟著勸諫李淵，李淵也借坡下驢，同意了不再退軍，而且為了表示自己的態度堅決，殺馬立誓，不破關中，決不退兵。