河西苦寒，條件不比關中，因此楊廣在張掖待到了十一月，便決定返回關中。
十一月的河西，是一個雪國。數九寒天，冰封雪地，雪虐風饕，整個世界有如被封印了一般，山冷地在顫抖，河凍地僵硬了，空氣似乎也要凝固起來。這樣的天氣，連呼吸都覺得如刀割一般，還要長途行軍，其後果黃明遠不敢想象。
但楊廣也有自己的意見，現在才十一月，等到天氣轉暖也得到來年的三四月份，他堂堂天子，難道要在河西待上四五個月？道路阻隔，關河難越，天子懸于河西，那天下該怎麼辦？
現在想起天下了？
黃明遠竟無言以對，眾人各無反對之言。
十一月二十日，天子發車駕于張掖，返回關中。
從河西到關中有兩條路線，一條是日常穿越武威、金城到關中，另一條則是走西平、金城到關中。
到了這個時候，楊廣還腦回路清奇的不走普通的北線，而走新開的南線，因此大軍便沿著祁連山返回關中。
車駕到了大斗拔谷（今甘肅省、青海省交界的扁都口隘路），山路狹窄險要，隊伍只能魚貫通行。時風雪晦冥，天地動蕩，整個人間都失了顏色。
此時已經到了下午申時過半，離著天黑不到一個時辰了，而大軍離宿營地還很遠。
黃明遠在前帶著騎兵趟了一遍道，走了數十里，便見大雪封山，再難向前，因此只得返回。
到了車架之中，楊廣正在六合城上取暖，看到黃明遠進來，楊廣趕緊問道︰「明遠，前路如何？」
黃明遠說道︰「聖人，臣帶隊出數十里往南，雪大風急，道路難辨，大雪已經將整個山谷封凍住，再往前實在無路。」
楊廣听了心中一震，強忍著吃驚道︰「明遠，真的無路可走了？」
黃明遠說道︰「聖人，非但前路不可走，臣以為當速速後退。大斗拔谷海拔地勢高峻，本就寒冷，再往南還要翻越雪山。這一路本陡峻難行，一旦大雪不停，不僅僅是前路斷絕，臣只恐後面亦為大雪封堵，到時候我軍便會困在此地了。」
「有這麼嚴重？」
看著黃明遠鄭重的樣子，楊廣也不得不相信。在楊廣心中，黃明遠從不妄言。
楊廣問道︰「大軍入谷數十里，還能返回的了嗎？」
黃明遠堅毅地說道︰「聖人，無論如何今夜必須連夜返回，而且一定要走出山谷。臣親自帶領數千將士在前掃雪開路，必保聖人無恙。」
黃明遠領命，倒是讓楊廣多了一些信心。
這時黃明遠又說道︰「聖人，數萬大軍掉頭不易，一旦出現問題，便會發生變故。而聖人的六合城實在過于龐大，難以掉頭，反而會導致擁擠，堵塞道路。臣請聖人從六和城移駕，轉到馬車之上，輕車簡從趕路。」
楊廣常年四處巡視，自是不耐車馬勞頓，因此命何稠制作了木制的六合城當行宮。六和城長有一百二十步，高四丈二尺，佔地近五百畝。城上載有槍車，每次停下駐宿，則把車轅朝外作為外圍，內布鐵蒺藜；再安設弩床，都插上鋼錐，錐向外；上面裝置旋機弩，用繩子系在弩的板機上，只要有人觸動繩子，弩機就旋轉，向觸動的方向發射。在弩外周圍又布置能弋射的短箭，並裝設鈴柱、木槌、石磐用來報警。乾坤听書網
這還是小打小鬧，過兩年六合城被升級為一個周長達八里的城池，把高句麗人都嚇尿了。
這六合城是楊廣的極愛之物，若是就這麼放棄，楊廣實在不舍，可黃明遠說得也很重要，他可清楚若是軍隊發生混亂的結果。
最後楊廣忍著痛意，還是決定听從黃明遠的建議。
楊廣前往了馬車之上，隨同的還有後妃、內侍、宮女，馬車沒有那麼多，其余人只得步行或者騎馬。
風雪使天色昏暗，文武百官饑餓難忍，衣服又全為風雪所打濕。
黃明遠調集了五千士兵，來到隊伍之後，開始掃雪開路。這一路前進，雖然人馬眾多，但沿途道路盡為風雪所沒，深處能到人的腰部。別說驢馬行走，人也趟不出道來。因此只得以人力掘進為大軍開道。
黃明遠又令楊義臣、衛玄、來護兒三人分領兵馬，維持秩序，大軍前後變隊，轉換方向。道路實在崎嶇難行，因此一些車駕都只能沿途丟棄。
來護兒帶著騎兵沿途巡查，但有喧嘩、聲亂者，被盡皆處死，因此一軍皆靜，無人敢高聲喧嘩，大軍使得緩緩北上。
黃明遠又請求楊廣將隨軍攜帶的御酒、衣裘盡賜予眾人以御寒。
楊廣不太願意，天子之物，豈能分給這些泥腿子。宇文述、虞世基等人也紛紛反對，認為此等亂了體統。
黃明遠大怒，呵斥眾人道︰「如此時候，正當齊心協力，是逞口舌之利的時候嗎？」
虞世基等人畏懼，乃不敢言語。
黃明遠乃向楊廣勸道︰「聖人明鑒，以今日這苦寒，眾人若不能抵御，怕是十萬大軍，十不存一啊。酒、衣之物，本是死物，散盡復來，何如十萬將士珍貴啊。」
楊廣還算顧全大局，因此乃從之。
黃明遠于是以天子命將御酒、衣裘發給眾人，眾人因此山呼「聖人」！
很快，便到了深夜，天氣更冷了。
不少人認為應該宿營，但被黃明遠拒絕。黃明遠乃說道︰「一旦眾人宿營，失了心力，怕是會盡凍死在此地，因此哪怕累死，不許休息，必須走出大斗拔谷方可。」
眾人不敢拒絕，黃明遠乃帶人親自在前趟路。
眼看沿途無數人凍僵，不少人停在那里便成了雕塑。黃明遠于是下令，將六和城、還有不必要的車架、物資全部在路上燒毀以取暖。雖然杯水車薪，作用不大，卻慰藉了眾人的心，給了眾人走下去的希望與勇氣。
眾人走了一夜，到了第二天上午才走出了大斗拔谷。沿途士卒凍死無數，馬驢凍死十之八九；後宮的妃嬪、內侍有的都走散了，根不都不知道死了多少。
等到出了山谷，黃明遠派出的士兵早在此地用車馬、木板搭建了一座臨時的避風城池，眾人乃得一口喘息之機。