張文遠在晉陽一面胡蘿卜，一面大棒，誅殺數百人，安定住整個太原郡。李淵的妹夫王裕最後也被處死，而其妹李氏，則被送往信都。
佔領晉陽之後，張文遠一面封鎖攻佔晉陽城的消息，一面準備繼續領兵南下。而太原郡太守，則有黃明遠的族叔黃沈擔任（提前任命）。
黃沈今年五十三歲，原為易縣令，黃明遠平定河北之後，又擔任趙郡郡丞，其女婿便是焦方威。
張文遠乃留副總管辛文禮留守太原，幫著黃沈經營太原郡。
太原郡乃是河東第一大郡，轄十五個縣，人口最盛時達十八萬戶。且此地在隋朝之後，直到北宋，都是叛亂興起之地，于是黃明遠听到攻破晉陽的消息之後，下令析太原郡東部七縣為樂平郡，治于石艾（今山西省陽泉市平定縣），以裴文肅為郡丞領郡事。
裴文肅乃是裴矩的佷子。
張文遠和劉雲芳則分兵兩路南下，張文遠率軍進擊西河郡，而劉雲芳則向西進入離石郡。
離石郡原太守是楊廣的族叔楊子崇。
楊子崇典衛出身，原來擔任右侯衛將軍，楊廣北巡安北城時，楊子崇屢次勸請楊廣早回京師。雁門之圍後，惱羞成怒的楊廣遷怒與楊子崇，于是以「子崇怯軟，妄有陳請，驚動我眾心，不可居爪牙之寄。」將他外放離石郡。
離石郡和旁邊的延安郡，素來是稽胡的聚居地。
這些稽胡是匈奴別種，又稱山胡、步落稽，源于南匈奴。史書記載這個民族貪而忍害，俗好婬穢。
稽胡自東漢時進入河東，已經成了河東、關北禍亂的重要源頭。其部兩次趁著中原王朝生亂建國，皆被攻滅。北周、北齊之時，更是多次生亂。包括名將韋孝寬、楊忠、豆盧寧、于謹、侯莫陳崇、李弼、宇文盛皆征討過其部。
其最近的一次作亂是稽胡人參與到楊諒之叛，後被黃明遠大肆屠殺。不過因為沒有觸及其根本，所以這些稽胡屢禁不止。歷史上直到唐高宗時期，綏州（今陝西綏德）步落稽白鐵余煽動百姓造反，攻佔了城平縣（今陝西清澗），自稱光明聖皇帝，最後為王方翼（王裕之孫）剿滅，稽胡人才逐漸消失于歷史之中。
天下生亂之後，先有延安郡的稽胡人劉迦論自稱皇王，建元大世，與稽胡劉鷂子義軍呼應。後劉迦論為屈突通擊殺，屈突通斬殺胡軍萬余人，並虜老弱數萬口，于上郡南山築京觀。而劉鷂子則潰逃入關中。
而在離石郡，劉龍兒自稱天子，以其弟劉六兒為永安王，部眾達數萬，潘長文率兵討伐，未能獲勝。
之後這些稽胡的叛亂更大，新上任的太守楊子崇不得不上表請兵鎮遏。楊廣于是命楊子崇率兵鎮壓，楊子崇前後捕斬數千人。
李淵叛亂之後，諸胡之勢更盛。楊子崇眼看郡內有稽胡，郡外又有李淵逆兵，難以抵御，便準備以朝集的名義，帶著心月復數百人自孟門關（今山西省柳林縣城西北孟門古鎮）返回洛陽。
此時離石郡各縣紛紛投降李淵，楊子崇前路斷絕，難以前進，只得又返回郡治離石縣，其部也多叛逃。
李淵派遣的大將石州總管張綸率軍兵臨城下，城中守軍皆叛，而楊子崇也為亂兵所殺。
張綸佔領離石郡，改離石郡為石州，以王儉為石州刺史，自引兵南下龍泉郡。
龍泉郡都尉李慶陽率部北上抵御，雙方在蒲川水（今山西城川河）相持。
而劉雲芳率部西進，正好抄了張綸的後路。
張綸本來手中只有數千人，佔據離石，收攏了不少殘兵，也不到萬人，根本不可能在石州留多少人馬。
王儉擔任石州刺史，主要也是防備稽胡，手中只有兩千人。
劉雲芳自東而來，王儉的注意力卻全在西面，因此毫無防備。劉雲芳命人詐稱從太原郡來的援兵，奉命支援張綸將軍。王儉不備，遂打開城門相迎，正好為隋軍所俘虜，于是劉雲芳趁機入城。
離石縣為隋軍收復，使之又成了離石郡。
劉雲芳以行軍慰撫使崔義玄為郡丞領郡事，以虎賁衛副總管高元臻為討捕使，清剿郡內的稽胡。崔義玄出身清河崔氏南祖崔溉支系。
劉雲芳入太原時，黃明遠便傳信于他，令他務必掃清稽胡之患。即使耽誤了南下，也得先清理干淨稽胡。
稽胡人還保留著匈奴人的游牧習俗，其仰仗騎兵，四處流竄，往往隋軍部隊到達，其部早就流竄遠去，因此清剿很是困難。
崔義玄與高元臻二人，上任之後，便派人嚴密封鎖稽胡人聚居區的道路，不使一丁點物資流入稽胡，他們要困守稽胡人。
這一點果然打到稽胡的要害處。
稽胡本就被楊子崇打的，有些勢弱。現在失掉了各種補給來源，根本難以維持生存。劉龍兒派兵四處擄掠，但皆為隋軍所阻。
隋人多遷入城中，並且在大道設卡，堵塞交通。稽胡人既找不到普通漢民劫掠，又難以逾越各處關卡，想劫掠也困難。
于是劉龍兒被逼無奈，只得選擇攻打縣城，獲取糧食。
劉龍兒帶著稽胡人攻打定胡縣（即孟門關），高元臻得信之後卻不急著救援，而是派兵直襲稽胡人老巢，又下令定胡縣堅守待援，利用城池吸引更多的稽胡人。
高元臻先是攻破稽胡老巢，俘獲稽胡人上萬，今貶為勞役。然後率兵西進，埋伏在定胡縣以東的地方。
劉龍兒圍城十余日，久攻不下。值天氣寒冷，而稽胡人馬卻缺衣少食，連續攻城不下，終于失了銳氣。
見此高元臻率軍出擊，猛攻稽胡部隊。
此時稽胡人也得到老巢失陷的消息，心中震惶，面對突然殺出的隋軍，更是手足無措。于是稽胡人兵敗如山倒，隋軍進擊，大破稽胡士兵，斬首數千，劉龍兒也被殺于軍中。
劉龍兒之弟劉劉六兒和兒子劉季真僥幸逃回老營，正好遇到在此嚴陣以待的隋軍，于是一番激戰，其殘部盡為隋軍剿滅。
孟門關一戰後，稽胡人主力覆滅，再無肆虐的余力。崔義玄和高元臻加緊對稽胡的鎮壓，很快這支古老的宗族便漸漸消失于歷史的長河之中。