在隋軍各路平叛大軍進展順利的同時，黃明遠的主力已經逼近漢王楊諒的月復心地帶，準備進行最後的決戰。
黃明遠在佔領蒲阪城之後，修整一日。九月九日，黃明遠將蒲阪城交給從鄭縣到達的崔弘升，令其堅守蒲州，自率主力騎、步兵四萬五千人向北而去。
而另一路隋軍偏師史祥也從風陵渡方向強渡黃河，擊破留在此地的數千漢王叛軍，佔據黃河渡口。史祥乃受命沿著首山、百梯山（今中條山脈）一路向東北而行，先後佔領了鹽池（今運城鹽池）和安邑縣、夏縣，掃清了蒲州的南部叛軍。
黃明遠數萬主力，一路浩浩蕩蕩，往北而去。其主力還未出蒲州境內，從蒲阪城到晉陽八百余隋里，沿途的叛軍已經是風聲鶴唳，草木皆兵，盡皆望風而逃。
十一日，隋軍下聞喜城。
十二日傍晚，隋軍主力兵臨晉州城下，晉州刺史裴文安命人緊閉城門，堅守不出，準備負隅頑抗。
晉州的守兵不足，並不足以出擊，但若是選擇攻城也要數日消耗。黃明遠擔心漢王叛軍會堵塞雀鼠谷，因此乃命史祥率領兩千人圍住晉州，並總管晉州、絳州、呂州三州諸軍事，又命段文操、楊萬項二人各率兩千人圍住絳州、呂州，勿使三州在大軍身後作亂。
黃明遠準備繞過這些據不投降的城池，直接奔晉陽而去。
軍中大將崔彭、獨孤覽等人皆是大吃一驚。獨孤覽直接進言道︰「漢王經營河東多時，雖為叛逆，但河東之地，附逆者無數。今總管以數萬之兵戰漢王叛軍十余萬人之兵，本就是艱難重重。今總管令大軍繞開城池，孤軍深入，一旦稍有小挫，必會危及全軍，倒時恐進退無路。」
其他人也紛紛進言，主要是言漢王雖兵敗蒲州，但根基未損，手下還有十余萬精銳軍隊，並非不堪一擊。黃明遠此舉，實乃非生即死之策，太過凶險。
黃明襄也建議黃明遠穩扎穩打，一路邊破敵邊進軍，同時等待巴蜀、關西、關中等地的府兵。
眾人的建議雖然穩妥，全軍一路平推，步步為營，可為大軍爭取充足的時間，但同時也給了漢王充足了的時間做準備，黃明遠並不想在晉陽打一場耗時數月的攻堅戰。
陳遠也認為此時黃明遠可以選擇突擊直入，漢王楊諒必無所防備。
黃明遠乃對眾人說道︰「今漢王新敗，軍心不穩，內亂不止，正是士氣最為低落之時。我軍長驅直入，直搗漢王月復心之地，漢王必無所備，倉促應戰，我軍必可大勝。若此時頓兵于晉州城下，雖穩固了後方，但也給了漢王整頓軍心，調兵遣將的機會。到時候雙方沿途惡戰，怕是從晉州到並州數百里之地，皆是一片焦土啊。」
黃明遠跟眾人解釋之後，便命眾人拔營北上。他本來沒有跟眾人解釋的義務，只是怕眾人因為反對而亂了軍心。
眾人也不敢拒絕，第二日一早，立刻拔營北上。
黃明遠的平叛大軍一路櫛風沐雨，並不停歇，于十五日上午，隋軍主力進入雀鼠谷。
雀鼠谷為從介休到霍邑之間一段數十里的間道險隘。寓意為其崎嶇陡仄，唯有雀、鼠之類才能飛越翻過，是自晉州經靈石、介休向太原進軍的必經之路。
黃明遠乃將主力部隊駐扎于靈石縣東南的高壁嶺，等待漢王大軍的到來。
眾人對于黃明遠突然停止前進，更是大惑不解，直言大軍要搶在漢王叛軍之前出了雀鼠谷，否則被漢王叛軍堵在谷中，怕是進退兩難。今日為何總管反其道而行之？
甚至連陳遠也是疑惑。
黃明遠乃對陳遠說道︰「漢王所部十余萬，盡是精銳，若是堅守介州，我軍兵少，如何能勝。今我軍頓兵于雀鼠谷之中，漢王叛軍所來，勢必要堵塞各處道路，將兵力分散。而且谷中道路狹窄，不便大軍布陣，漢王叛軍兵力再多，勢必只能布置長陣，難以集中力量應戰。到時我軍一部軍隊在此與漢王叛軍相持，一部繞到漢王叛軍身後，必能將其全殲。」
雀鼠谷利于兵少而不利于兵多，最好的布置是兩三萬人在此依托地形布防，可擋數十萬大軍。但一旦兵多，實際上在第一線的還是那些人，其余的都成了累贅。
陳遠听後贊嘆道︰「主公神算，遠不及也。」
黃明遠在鼠雀谷屯兵之後，遠在晉陽的漢王楊諒也得到了消息。楊諒心中如五雷轟頂一般，惶惶不可終日。
這時王頍勸楊諒派遣大軍，堵塞雀鼠谷，以抵御隋軍，至于雀鼠谷以南的州縣，只得是自求多福。而且楊諒等人也不知道黃明遠是繞過絳州、晉州直奔晉陽城而來，只以為黃明遠兵貴神速，神威無敵，數日之間，以及攻破了沿途絳州、晉州諸州縣。
楊諒听從了王頍的建議，乃以老將上大將軍趙子開擔任晉州行軍總管，率領八萬余人直奔雀鼠谷而來。
雀鼠谷天險，一旦重兵防之，隋軍除非飛躍過來。
此時頓兵于鼠雀谷中的隋軍听說漢王叛軍已經向雀鼠谷進發，紛紛向黃明遠進言，請求趕在對方到達之前出谷布陣，皆被黃明遠拒絕。
趙子開乃軍中老將，出身天水趙氏，曾跟隨韋孝寬討伐尉遲迥之亂，後擔任過蔚州刺史、代州總管、行軍總管等職。趙子開雖然不是名將，但為人謹慎，行軍打仗皆布置周全，雖無大勝，但亦無大敗，
楊諒正是看重趙子開的穩妥，這才命其領兵抵御黃明遠。楊諒叛軍，屢遭敗績，他已經有些不敢再主動出擊了。
趙子開得令之後，一路緊趕慢趕，終于來到雀鼠谷。不過听到谷中隋軍已至，正屯營駐扎，乃心中大驚。趙子開也听聞黃明遠的名頭，只是與黃明遠從無交集。他並不懷疑黃明遠的能力，因此不敢應戰，而是派兵佔領了雀鼠谷周圍所有的道路，柵欄堵塞山徑小路，而將主營駐扎在高壁嶺，全軍擺開陣勢，前後列五十里的戰陣，企圖借助崇山峻嶺，以重重兵力，徹底防死黃明遠所部。