嚴孝武佔領遼州，此時北面太原郡已下，新設的樂平郡府也來接收遼山縣。他乃引兵向西，進攻臨汾要道。
而此時張文遠也率軍佔領了西河郡，穿過雀鼠谷，南下臨汾。
李淵佔領西河郡之後，便將之改為浩州，以劉瞻為浩州刺史。浩州和南面臨汾郡境內的雀鼠谷，被李淵視為晉陽之後，第二道防線。
為阻擋隋軍，李淵做足了準備。在他計劃中，唐軍晉陽城擋住隋軍三個月到半年，浩州便能做好準備，然後在雀鼠谷天險再擋隋軍三個月到半年。等到隋軍突破這兩道防線後，已經是半年以後的事情，他在關中已經站穩了腳跟。
可惜晉陽失守，一切都成了空。
張文遠南下之後，集中騎兵，直往介休而出。
而此時劉瞻尚不清楚晉陽已經失守的消息。
張文遠南下，為了調動西河的唐軍，又利用李元吉丟下的符印，給劉瞻去信，言「隋軍正猛攻晉陽，雙方激戰數場，晉陽兵少，請劉瞻務必盡起全郡兵馬，北上支援。」
劉瞻得信之後，便整點兵馬北上。
這時功曹靳權便勸道︰「昔日唐公有言，使君當緊守浩州，今隰城梁德所部尚未消滅，浩州本就兵力不足。若使君盡點兵北上，只恐浩州防御薄弱，為盜匪所趁。」
劉瞻卻是不以為然道︰「浩州怎麼能和晉陽相比。只要晉陽保守，我大唐便穩如泰山，就是丟了個浩州，也能頃刻克復。可若是晉陽失守，則浩州將暴露在隋軍兵鋒之下，必不能保。」
劉瞻沒說的還有，求救的李元吉是唐公的兒子，若李元吉出了事，他就是守住浩州，也沒什麼功勞，反而唐公所忌恨。
豈不聞昔日劉封不救關羽的下場。
于是劉瞻不顧靳權的勸告，點兵北上。
劉瞻走到張難堡（今山西省平遙縣西南），與右屯衛軍楊義琰所部相遇。張文遠也沒想到劉瞻竟然主力盡出，而且速度還這麼快，此次楊義琰麾下只有一營騎兵，主要目的是前驅設伏的。
雙方猝然相遇，立刻展開激戰。
雖然劉瞻手中有三四千人馬，但楊義琰麾下盡是騎兵。戰斗一開始，隋軍騎兵便直插唐軍中軍。
楊義琰是隋軍之中少有的猛將，帶著騎兵，一往無前地突擊，很快便撕破唐軍陣型。
劉瞻穩不住隊伍，很快軍隊崩潰。
劉瞻也跟著亂軍一路逃回介休。
浩州兵遭此一敗，膽戰心驚，士氣全無。劉瞻也心中震惶，實在沒料到隋軍戰力這麼強撼。
不過劉瞻並不準備投降。劉瞻是李淵晉陽起兵的元叢，曾擔任大將軍府諮議參軍事，自是死忠于李唐政權。
劉瞻本身征戰水平不高，偏向于文官，但還是比較擅長守備的。更何況他這些日子一直在加固城防，征召士兵。
此次逃回浩州後，劉瞻便征調全城百姓，守御浩州。
張文遠兵臨城下，派遣使者入城勸降，劉瞻斬殺使者，誓與隋軍死戰。
不過劉瞻準備死戰，但旁人卻並不這麼想。
功曹靳權是西河大族出身，唐軍佔領西河郡時，為了獲得當地世家大族的支持，授予了一批世家子弟為官。
當時唐軍連戰連捷，聲勢浩大，這些世家當然選擇投降。但現在劉瞻兵敗張難堡，隋軍兵臨城下，眼看便是要玉石俱焚，自是沒人願意為李淵殉節。
不過劉瞻意志堅定，有勸其投降者，盡為劉瞻驅逐，靳權也不敢輕易表態。
這時靳權便找到鎧曹宋易、介休縣丞毛喧等人，商議應對之策。
「劉瞻這是要拉著整個介休城陪葬，他倒是得了名聲，咱們介休的父老鄉親就全完了。」
眾人紛紛咒罵，頗有股子義正言辭的感覺。
這時宋易說道︰「昔日衛公破漢庶人楊諒，我等各家也為王師出過力，更是得到過衛公的召見。這一次李淵造反，我等本有心死戰，只是實在顧念桑梓，為不使其遭受兵災，不得不投降。但現在王師趕來，正是正本清源的好機會，我等再和劉瞻混在一起，就是家破人亡了。」
其他人也紛紛贊同。
這時這個說昔日與衛公的交情，那個說跟衛公見過面，一個個的都成了大隋的忠臣。
于是眾人商議，誅殺劉瞻，開門投降。
靳權命其弟靳策悄悄潛伏出城，前往隋軍大營。對于這些世家大族來說，若是直接打開城門投降，還稍微有些難度，但送一兩個人出城，跟玩一樣。
靳策見到張文遠，便言城中士庶為劉瞻所挾，不得不抗拒天軍，但內心卻是想投降的，請王師恕罪。並表示會在明日夜間，在城中生亂，打開城門，迎王師入城。
張文遠早猜到城中的世家大族會坐不住，對此，樂見其成，無動于衷。他本來也沒指望靠著世家大族來幫他破城，更不會因此高看對方一眼。
于是張文遠言，只有見到劉瞻的人頭，才會出兵配合。
靳策無奈，只得回城去見兄長。
靳權听了，有些吃驚。隋軍听到他們願意投降，不應該喜出望外，封官許願嗎？
不過此時他們已經準備動手，也沒有旁的辦法，只得一條道走到黑了。
也幸虧是之前劉瞻帶著全部的兵馬去支援晉陽，張難堡一敗，其部隊十損七八。但守城得有部隊，因此劉瞻除了抽丁拉夫，還請各家族私兵、奴僕齊上陣。
這樣的結果便導致劉瞻真正掌握的軍隊還真沒多少。
這日傍晚，劉瞻仍未休息，而是前往城門處，再巡視一遍城門。他為了確保城防沒有疏漏，每日要巡城好幾次。
到了北門，守將是劉瞻手下一員鷹擊郎將和靳家的私兵頭子靳麴。
靳麴是個大盜出身，為人勇武難當，後來受傷為靳家所救，遂留在靳家為私兵。靳家是諸家之首，因此守門之時，靳家人雖是白身，但也有重權。
劉瞻照例來到城牆之上，眾人拜見，引著劉瞻去巡視各處。就在這時，手持鋼鞭的靳麴忽然照著劉瞻腦門砸去。
劉瞻猝不及防，直接被砸中腦袋，腦漿迸裂，死于非命。