宇文歆在城中驚聞李元吉棄軍而逃，劉政會兵敗被俘的消息，差點一口老血噴出。他雖然猜到李元吉會整出什麼蛾子，但實在沒料到李元吉竟然如此喪心病狂，能做出棄軍逃走的事情。
此時晉陽主力盡喪，隋軍兵臨城下，已危在旦夕。
趙文恪等人無法，只得前往宇文歆府上，請宇文歆出來主持大局。宇文歆也顧不得對李元吉的痛恨，現在若是不能守住城池，他們眾人俱要身死了。
宇文歆一面命趙文恪加強防御，嚴守城池，一面征調城中勇壯，盡派遣到城頭守御。他還招城中各大家族，讓他們出人出力。眾人跟隨唐公造反，一旦隋軍入城，他們也幸免不了。
李淵能在晉陽順利起兵，少不得太原各大家族的支持，他妹夫王裕便出身太原王氏祁縣一支。河東不少家族對于黃明遠誅滅盧氏的做法有異議，因此也積極幫著李淵抵御隋軍。
但這並不能使晉陽城真的固若金湯。
黃明遠進營河東多年，當年在河東平定楊諒之亂時，對很多家族都有恩情。尤其是封德彝、樊子蓋等人在河東大殺四方，與黃明遠的寬仁形成鮮明對面，因此黃明遠常為河東百姓懷念。
李淵此為反賊，雖然有世家大族支持，但月兌不得一個賊字。所以雙方在河東相比，影響力、人心並不相差多少。
張文遠、劉雲芳二部包圍晉陽城，並沒有直接攻城，而是等待內亂的發生。
晉陽城是北地雄城，素來為抵抗北方胡人的軍事核心要地，城高池深。若是想要破城，即使城中守軍不多，也不太容易。
二人兵臨城下，更多的是對晉陽城形成一種威壓。而借著這種威勢，隋軍在城中的人員便開始了四處行動。
劉英行，右三統軍府司馬。
劉英行算是最早投奔李淵的一個將領，所以雖然他出身不高，卻從一個鷹揚司馬被提拔為統軍府司馬，只是手中沒有獨立的兵權。
但劉英行還有一個隱藏的身份。仁壽三年，他曾在獨孤覽麾下為火長，後來又跟著獨孤覽參與征討楊諒叛亂一役，得黃明遠賞識，被授予帥都督。再後來黃明遠留了一大批人在河東，以補缺額，劉英行也被授予車騎府司馬，後來又轉為鷹揚司馬。
本來他的人生足跡並不會有太多可能，一輩子能做個鷹揚郎將或許便是極限。但他沒想到，半個多月之前，竟然有人找到他，自言來自河北，受衛公所遣。
劉英行有些吃驚，他當初得衛公賞識，但並無太多人知曉。且他多年不與衛公聯系，衛公還記得他這個無名小卒。
待對方說明來意，劉英行很快決定倒向衛公。蓋因劉英行從軍多年，見人無數，唯有衛公才是一個真正的大英雄。
在北斗人員的指使下，劉英行暗地里倒向黃明遠之後，多傳各種消息，給了隋軍很大援助。
此次隋軍圍城，便有人給劉英行傳信，令其伺機而動，說服趙文恪倒戈。
自李元吉棄軍，劉政會兵敗被俘之後，城中武將身份最高的便是趙文恪。宇文歆無人可用，他本身又是文官，不通武略，只得盡將晉陽防御交給趙文恪。
趙文恪亦出身鷹揚府司馬，只是素與李淵交好，因此官拜統軍。
劉英行與趙文恪相交多時，知道他這個上級是個什麼人。趙文恪為人精明，又長于明哲保身，看起來一副忠厚樸實的樣子，但大奸似忠，就不是一個會死戰的人。
于是他便來到趙文恪軍中，故意說道︰「將軍，听說姑臧公棄軍逃了。你說咱們替他李家守江山，他們自己倒是跑了，這算什麼事？」
趙文恪听了，神色變了幾變，然後說道︰「這種話不要在外面講，省得讓旁人听了去。」
劉英行一听，便知道趙文恪同樣心中不滿，于是故意說道︰「將軍放心，我除了對將軍，旁人自是不會多言。」說著，劉英行又道，「將軍，不是我不知道厲害，只是，這事實在讓人別扭啊，哪有這麼做事，真把咱們都當成狗了。」
「那是唐公的兒子。」
「但正因為如此，他不得堅守城池嗎？否則連他們李家人都不在乎這晉陽城，咱們費什麼勁，白白做個冤死鬼。真死在這晉陽城中，他李家給咱們養老婆孩子嗎？」
趙文恪有些沉默。
這時劉英行又說道︰「將軍，你覺得晉陽可守嗎？」
「怎麼，你覺得晉陽不可守了？」
劉英行笑笑，有些不好意思地說道︰「城外隋軍大舉圍城，我城中兵力卻匱乏，再加上雙方士氣一高一低，我實在是有些憂慮啊。」
趙文恪點點頭。
「這一戰不好打。」
「听說隋軍主帥是西河侯，跟著衛公北伐突厥，東征高句麗，戰功顯赫，當世少有。他麾下之兵，也是征高句麗，破突厥的精銳。」
听到這，趙文恪的臉色更難看了。
趙文恪對張文遠的戰績並沒有多熟悉。但張文遠曾擔任過長平郡太守，當初在長平郡從世家大族手中奪回大權的事眾人也多有耳聞。今听得劉英行的話，他更覺得此戰難勝。
「你有什麼想法？」
劉英行來到趙文恪跟前，小聲說道︰「將軍，你也看到了，晉陽這些軍隊，精銳俱被唐公帶走，剩下的又被姑臧公霍霍了，現在城中，只剩下一群老弱病殘。咱們死守，必然是個死字。這姑臧公都能放棄晉陽，擅自月兌逃，咱們何必留在晉陽死守。不若咱們也趁機帶兵逃了？」
趙文恪眯著眼，臉上看不出任何變化。
「咱們若是走了，將來何去何從，臨陣月兌逃的名聲可不好听。」
「將軍，咱們手中有兵，去哪不行。說句不好听的，唐公憑什麼在晉陽造反，不就是手中有兵嗎？他可以咱們憑什麼不可以。」
趙文恪搖頭道︰「我如何能與唐公相比。」
劉英行諂媚地說道︰「將軍不必如此自薄，當初漢高祖未起事時，也不過是一泗水亭長，遠如項羽。可一朝化龍，誰又能比得了。」
趙文恪低頭沉思，也不說話，可他心中卻升起了無數的野望。