開弓沒有回頭箭，當李淵誅殺王威、高君雅之後，他便沒了後路，只能造反了。而黃明遠也不擔心事情會有反復，便開始了對李淵的布置。
黃明遠在河東有許多舊部。
這是黃明遠迅速解決河東問題的底氣。這些人遍布河東各郡縣，文武皆有，很多人都已經在當地經營了十多年。
李淵雖然有世家大族相助，但自漢王楊諒之亂開始，河東被清理了多次，關隴世家在河東的實力早就十不存一了。
這也是之前李淵一直不敢動手的原因。關隴世家光喊口號，但你來點實際的啊。
黃明遠傳信河東諸將，命眾人各自堅守城池，等待主力東進。
河北主力七衛，左武衛在信都郡，右屯衛在恆山郡，龍驤衛在武陽郡，控鶴衛在東昌郡，虎威衛在上谷郡，鷹揚衛、豹韜衛在魏郡。七衛主要集中在太行山以東和黃河北岸。
此時西進的飛狐徑、井陘關、葦澤關、滏口盡控制河北軍的手中。
河東東南，長平郡和上黨郡，二郡太守分別是嚴孝武和段偃師。黃明遠傳令嚴孝武總領二郡兵馬，段偃師總攬二郡政務，防備晉陽之兵，又命黃明溥率領豹韜衛從滏口西進，進駐長平關。
而命張文遠率領右屯衛軍從恆山郡向西，進駐井陘關。
至于北面馬邑郡，則更是簡單，黃明遠從沒有將沒有獲得突厥支持的劉武周放在眼里。範文林、李子仁分屯恆安鎮、雁門關，南北挾制馬邑郡，再命劉雲芳率領虎威衛從上谷郡西進，先平定劉武周部，再南下太原郡。
三衛兵馬，再加上當地的軍隊，加起來有十多萬，從三面包圍太原郡。若是李淵放棄太原，選擇南下，這還有一線生機。若是李淵死守太原，則晉陽就是他葬身之地。
其實黃明遠並不想在晉陽與李淵死戰，而是希望驅趕著李淵南下，趁機席卷河東，進入關中。
所以三路大軍，中路、南路二軍不動，北路先向馬邑郡率先發起了攻擊。
劉武周的造反很坑，至少在這個時代很坑。歷史上他的崛起是因為背靠突厥，獲得了突厥的支持，郡內還有原邊軍精銳，所以才能趁機興盛。
但黃明遠殺了始畢可汗，突厥現在陷入內亂，自顧不暇。而原朔州精銳邊軍，盡被黃明遠調到了安北都護府和恆安鎮，馬邑郡本身並沒有多少。雖然北地男丁悍勇，劉武周自領太守之後，也開倉放糧，招募了大批的壯丁，有著上萬人馬，但仍舊不能與隋軍相比。
劉武周知道馬邑窮困，若是困守馬邑，必然落敗，必須打出去，攻略富庶的太原諸郡。于是他率兵南下，準備進攻汾陽宮。汾陽宮物資充沛，佔領這里，才能有南下河東的可能。
樓煩郡都尉韓元建得知劉武周造反之後，便率部北上樓煩關，阻止對方南下。
樓煩等關在經過去年突厥人南下之後，都進行了修繕。劉武周本來打著突襲的主意，手中兵力不足，因此雙方相持，劉武周便難以前進。
差不到相持半個多月，屯駐雁門關的李子仁率部佔領桑干鎮，威脅善陽城。
劉武周得知大驚，只恐後路不保，立刻撤回馬邑。
屯駐恆安鎮的虎賁郎將範文林有兵八千，他在得到黃明遠的命令之後，也率部六千南下至神武縣，堵住了劉武周可能的北逃路線。
不過劉武周的造反終究引得代北人心動蕩，企圖渾水模魚的人仍是不在少數，雁門前郡丞楊長仁，雁門守令王確等，也暗自聚集人馬，準備響應劉武周，不料走漏風聲，被太守侯莫陳乂知曉。侯莫陳乂先下手為強，將楊長仁、王確及其家族、黨羽全部捉拿處死，一時雁門舉郡震懼，無敢反者。
十一月十五日，劉雲芳率領虎威衛萬余人先行趕到雁門關。
十七日，劉雲芳指揮各軍包圍了善陽城。
隋軍各部集合，約有兩萬余人，是劉武周所部的三倍之眾。
此時蹦了一個多月的劉武周終于發現自己陷入了絕境之中。劉武周有野心，也有能力，但並無與隋軍主力決戰的底氣。
劉武周雖然已經派人去聯絡突厥的新任可汗處羅可汗，但突厥人根本不敢前來。
劉武周面對城外重重隋軍，急得是抓耳撓腮。他常在邊關，自然知曉城外諸軍的實力，而善陽城外無援兵，且今年馬邑郡歉收，善陽城中的糧食連一個月都堅持不了，繼續打下去，只有城破一個可能。
這時其妹夫苑君璋建議劉武周，善陽城已經不可守，可突圍至突厥，再作計較。
劉武周也是猶豫，給胡人做狗，是那麼容易的嗎？而且突厥也是黃明遠的手下敗將，投奔突厥有用嗎？
正當劉武周猶豫不決，其部將高滿政突然打開城門，向城外隋軍投降。高滿政全家皆死于突厥之手，與突厥有血仇，如何願意投降突厥。他便勸劉武周向隋軍投降，憑這數千將士和一座善陽城，也能保得性命，但劉武周不願意。
馬邑困于兵禍，人心厭亂，高滿政利用人心所向，投降了隋軍。
此時城門打開，劉雲芳遂指揮諸軍入城。
劉武周在城中听聞此消息大驚，嚇得魂飛魄散，連忙率領親信突圍。
而守衛城中的諸將尋相、張萬歲等人皆投降了隋軍。
劉武周帶著黃子英、苑君璋等人不到千人一路向北，被範文林率軍堵在了臘河谷（今山西省朔州市東北洪濤山南）。
劉武周進退不能，被隋軍盡滅于此。
在歷史上席卷整個河東，給李唐帶來最多敗仗的一代梟雄，就這麼死在臘河谷。
討平劉武周之後，黃明遠便下令，析馬邑郡、雁門郡北部，于恆安鎮置雲中郡，領雲內、善無、高柳（今山西省陽高縣）三縣。
同時又設代北都督府，節制雲中、雁門、馬邑、樓煩四郡軍事，轄兵兩萬兩千人。
以範文林為代北都督兼領雲中郡太守；
崔民干為馬邑郡太守；
韓元建為樓煩郡太守；
而李子仁統兵五千人，隨劉雲芳南下。