隋軍與裴文安相持數日，裴文安越發憂心忡忡。眼看對面的隋軍實力一日日強大，眼看沒幾日便和自己手上的兵力差不多了。
裴文安正苦尋破敵之策的時候，楊諒的命令已到達軍中。
實際上黃河一戰，漢王叛軍士氣大降，擅自出擊的裴文安根本瞞不住楊諒。
西進大軍兵敗的消息傳回並州之後，楊諒大驚，他無論如何也沒有想到楊廣不僅沒有殺死楊素，反而起大兵討伐于他，更吃驚裴文安三番兩次的兵敗。
黃河一戰，貌似戳破了漢王叛軍強大的童話。
這時豆盧毓又勸道︰「大王，裴將軍兵敗，並未楊廣之奸計。」
楊諒不解。
豆盧毓乃說道︰「大王，您當初籌謀起事，廣積兵馬，難道楊廣不曾知？臣料其不過是想做第二個鄭莊公，故意逼大王起兵，他則早在關中布置了重重兵馬，等待大王的大軍壓境。」
楊諒大驚道︰「這怎麼可能，雙方這才交戰幾日，他哪有這個時間集結各府部隊？」
豆盧毓說道︰「楊廣監國大半年，有什麼事是他做不了的？既然我軍可以提前布置，為何楊廣又不能有所準備？河東有黃河天險，他怎麼會願意在河東大王的地盤上與我軍決戰。而一旦我軍到了關中，其主動權便落入楊廣的手上。」
楊諒覺得豆盧毓的話很有道理，反倒相信楊廣之前的弱勢樣子是故意引誘他出擊。
這時北據一派的人紛紛言裴文安冒進兵敗，喪師辱國，不遵王命，形同悖逆，需要重懲。前些日子裴文安得勝，西進一派的人也紛紛得勢；這一次裴文安兵敗，楊諒為了平衡勢力，同時拉攏北據一派，也只得處置裴文安等人。
楊諒決定主力撤兵，並召回裴文安。
楊諒的令旨到了裴文安的軍中，楊諒以隋軍勢大，難以一戰勝之為由，命裴文安立刻撤兵返回並州。以大將紇單貴擔任蒲州道行軍總管，王聃為蒲州刺史，二人率部四萬堅守蒲州。楊諒並命紇單貴破壞蒲州南部的黃河大橋，嚴防隋軍渡河。
裴文安心中大驚，雖然百般不情願，但他不是真正的領兵將領，在軍中並無威望，沒了楊諒的任命，他根本無法指揮紇單貴、茹茹天保等將領，因此只得無奈地率軍撤退。
裴文安此時心中仍然不甘心，乃上奏楊諒道︰「用兵之機，貴在詭速。我直襲關中，本想出其不意，攻其不備。不料大王臨陣變策，既不親征，召我回軍，使敵方有了竄息之機，轉危為安。如今我軍大事去矣！」
裴文安對于楊諒撤兵的做法，既充滿了疑惑，又失望至極。
楊諒也覺得愧對了裴文安，心中過意不去，但是他心中仍是覺得要穩妥為上，因此並未對裴文安的話做正面回應，而是繼續隨心行事，責令眾將立即停止進攻，分散防守各地。
也許是楊諒不願意見裴文安，當然也是為了懲罰裴文安的兵敗，楊諒任命裴文安為晉州刺史，即刻上任，而茹茹天保率大軍返回。事實上從此刻起，裴文安被排擠出漢王集團的核心圈層。
接著楊諒又任命薛粹為絳州刺史，梁菩薩為潞州刺史，韋道正為韓州刺史，張伯英為澤州刺史，打定了主意堅守。
九月七日，裴文安向北撤兵，臨撤退之時，還在蒲阪以北布置了上萬軍隊，準備趁機伏擊隋軍。
裴文安還是不甘心就此離開，因此準備再賭一次，賭黃明遠的貪心。
河西岸的隋軍眼看對面的漢王叛軍要撤走，心道此時是破敵的好機會，紛紛請戰，附尾追之，被黃明遠拒絕。
獨孤覽等人不解，紛紛問詢。
黃明遠乃說道︰「裴文安此人，書生掌兵，雖然不能打大仗、硬仗，但最是詭計多端。他善于發揮文人的狡黠本事，多用兵用險用奇。若是裴文安真的要退兵，必然會小心翼翼，遮掩情況，防範我軍追擊，而裴文安卻一反常態，弄得人盡皆知，豈不有異。此次他狼狽兵敗，顏面大損，吾料其必然心中不甘，這才如此大張旗鼓，就是為引誘我軍渡河追擊。而裴文安必定是在某處布置了伏兵，就等著我軍上鉤。」
眾人大解。
黃明遠嘲笑道︰「如此小兒，用兵不走正道，就以為打仗就是幾個文人吹噓的羽扇綸巾，運籌帷幄，談笑破敵，真是笑話。」
卻是令眾人回營歇息。
眾人眼看無果也是無奈，只得依令。
原本眾將以為今日之事就這麼過去了，誰曾想到了晚上二更時分，黃明遠突然召集眾將，點兵出戰。
雖然黃明遠猜測裴文安是故意詐自己回返，但其如此大的聲勢卻做不得假。斥候來報，整個漢王叛軍大營之中已經完全空了，全軍也已開拔。
黃明遠知道若是裴文安只是想著趁機詐自己一番，不會如此麻煩，現在其不見蹤跡，便說明其必然是真的撤兵了。
看來歷史上裴文安不入關中，應該也是這個情況，莫名其妙地撤兵了。
黃明遠雖然不知道原因，但不代表黃明遠不會趁機打裴文安一個措手不及。
隋軍全軍出擊，大軍到了河邊，對面並無人馬，河面寂靜無聲。
黃明遠乃命人將收集的幾百只商船一字排開，上覆木板，用鐵索相連，搭建成一個簡易的浮橋。黃明遠又在木板上鋪上許多草，人馬踩上去俱沒有聲音。
黃明遠以士兵口中餃枚渡過河，人馬皆是無聲的渡過了大河。
過河之後，黃明遠以獨孤覽為前鋒，令其率所部八千騎兵追擊裴文安北撤之軍。所部得手之後，突擊三十里乃反。
而黃明遠本人則率四萬多軍隊準備進攻蒲阪城。
今日一戰，重點便是蒲阪城，拿下此地，隋軍才能在大河以北有了穩定了前進基地。此時叛軍數倍于自己，一旦雙方陷入相持，則蒲阪城半年之內拿不下也是有可能的。
黃明遠親率驍果軍兩萬人馬埋伏于蒲阪城東北方向的山林之中，又命崔彭率領本部和周法尚、荊元恆部伏于蒲阪城西北。
今夜萬籟俱寂，只剩下無邊的夜色。