黃明遠沒能在雁門再待多長時間，雖然關于草原的事還有千頭萬緒沒有處理，甚至黃明遠沒能來得及與義成公主見上一面，但不得不走。
這全是因為楊廣又鬧出了蛾子，令黃明遠不得不回東都妥善處理。
事情還要從雁門解圍，楊廣返京說起。
當初楊廣的鑾駕從雁門返回太原之後，沒有多待，便一路向南，準備前往洛陽。
這時蘇威等人向楊廣建議道︰「今盜賊不息，士馬疲弊，願聖人亟還西京，深根固本，為社稷計。」
蘇威勸楊廣還是回西京吧，那里是朝廷的大本營。
楊廣似乎也被這一次發生的事情給嚇到了，蘇威一勸，便趕緊從之，決定轉道前往長安。
然而過了沒多久，宇文述便勸道︰「今隨駕從官妻子多在東都，宜便道向洛陽，再自潼關而入關中。」
宇文述說得很隱晦，但楊廣此時已經反應過來了。他回關中干什麼，忘了自己為什麼要遷都洛陽嗎？難道要再次回到關隴世家那群人的手中嗎？
虞世基、裴蘊等人也擔心大權旁落，便勸楊廣此時返回關中，恐為人質。
于是楊廣立刻反悔，以宇文述的理由搪塞眾人，先前往東都。
天子耍賴，蘇威等人也沒有辦法，不過天子若是真的返回東都，不再四處巡游，也算一個收獲。
眾人到了東都之後，便討論此次大戰的賞罰。
蘇威等人皆認為之前天子在雁門的時候，允諾的獎賞實在太重了。
楊廣在楊玄感之亂後，因為當時授勛者有很多，為了好封賞，便在九大夫之下，又設置了八級勛位。從正六品的建節尉開始，以下依次是從六品奮武尉，正七品宣惠尉，從七品綏德尉，正八品懷仁尉，從八品秉義尉，正九品奉誠尉，從九品立信尉。
有了這麼多低級的職位，之後封賞才方便起來。
不過這一次要封賞的人實在太多了，不說之後趕來圍殲突厥的各路援軍，光是一開始的天子隨駕軍隊，自戰死的獨孤覽、範安貴、呂玉等重臣以下，接近一萬七千人可受賞。
楊廣當時可是許諾的「守城有功者，無官直除六品，賜物百段；有官以次增益。」即只要有功，沒官職都能最低授予六品官，有官職的，更厲害。
打仗的時候許諾的很痛快，戰後封賞就難受了。
蘇威等人拿著功勞簿，幾乎沒暈過去。照這樣的封賞標準，整個大隋得平添上萬戰死或存活的六品官，這還沒有算黃明遠十多萬大軍圍殲突厥主力的戰功。
若是真按照這個標準封了，那得六品官滿街走，將軍、大臣多如狗了。整個朝野內外得全亂了套了。
于是蘇威只得不斷裁剪這個封賞名單，最後將一萬七千人裁剪成一千五百人。但這個名單還是太過巨大。
突然多出上千六品官，朝廷也受不了。
于是蘇威只得請求天子重新斟酌封賞之事，至少也得在大隋承受範圍以內啊。
楊廣素來吝嗇對朝臣的封賞，到目前為止，整個大隋有接近一半的郡都沒有太守，至于六部九寺官員缺的更多，可見楊廣得多不喜歡封官。
蘇威報上來的封賞人物，楊廣也驚呆了，這麼多人，如何能夠盡封。于是楊廣便下令蘇威、宇文述、裴矩、裴蘊、虞世基五人重新商定對「雁門之圍」功臣的封賞。
雖然楊廣沒有直言毀約，但意思已經很明顯了。
蘇威等人秉承楊廣的心意，于是將原本的重賞改為「一戰得第一勛者進一階，其先無戎秩者止得立信尉，三戰得第一勛者至秉義尉，其在行陳而無勛者四戰進一階，亦無賜。」
即只有得第一功的才能晉升一級，而沒有軍職的，六品官是不要想了，只有個從九品的立信尉，其余的有職務的，基本上能混到提升一級，已經算是榮幸了。至于賞賜物品，全都沒有。
一眾文武看到這就怒了，被圍雁門的時候，說得好好的，怎麼一解困了，就翻臉不認人了，要過河拆橋、卸磨殺驢嗎？
作為忠臣的樊子蓋見此，心知若是真的按照這個新標準，怕是會軍心喪盡，于是堅持向楊廣請求，認為不應該失信于人。
楊廣見樊子蓋連自己定下的事情也能反駁，心中大怒，于是斥責道︰「你這麼關心士兵的封賞，難道要收買人心嗎？」
楊廣的話已經算是誅心之論，就是黃明遠在這里也頂不住。于是樊子蓋大懼，再也不敢說話。
封賞便按照這個新制定的標準實行下去。
到了軍中，幾乎嘩然，原本以為能夠封妻蔭子的眾將，此時對封賞的滿腔期待，都化作了對朝廷的怨恨。
封賞還沒完，楊廣又開始秋後算賬。
雁門之圍的時候，內史舍人蕭瑀反對突圍，便被楊廣忌恨上了。蕭瑀之前因為和楊暕陷害鄭言慶的事情，很是被楊廣冷處理了一段時間。後來蕭瑀的兄長蕭琮身死，楊廣為了提攜後族，便再次對自己從小看大的小舅子委以重任。蕭瑀因此當上了內史舍人，委以機務。
不過蕭瑀老是諫言，惹得楊廣很是厭惡。這次他反對突圍，讓楊廣以為蕭瑀是不在意自己的生死，于是說道︰「突厥狂悖，勢何能為！少時未散，蕭瑀遽相恐動，情不可恕！」于是將蕭瑀貶為河池郡太守。
同樣在雁門之圍中立下大功的右侯衛將軍楊子崇，也被貶斥。楊子崇是楊廣的族叔，在楊廣出巡安北城的時候，也曾勸楊廣「突厥必為寇」，屢請早還京師。
當時楊廣沒有發作，但回京之後，卻以「子崇怯懦，驚動眾心，不可居爪牙之官」為由，將楊子崇貶為離石郡太守。
楊廣本來就嚴苛，這一次發起狠來，竟然連自己的妻舅和族叔都不放過。眾人對其更是寒心。
此時楊廣因為雁門之事，有些灰心，更听不得別人的勸告。往常臣子諫言，只是逆耳，楊廣也把他們歸結為求名，一般不作處置。
但現在因為雁門的事情，楊廣仿佛認為全世界的人都在嘲笑自己的識人不明，他做了半輩子的「天可汗」，此時轟然倒塌，更使得楊廣滿是羞辱。現在只要一有人勸他，楊廣便感覺是譏諷他，恨不得將其弄死。
不管別人能不能忍，楊廣反正不能忍。于是他的行為也越來越粗暴，越來越不可理喻。似乎在別人嘲笑他之前弄死對方，對方就不會嘲笑他了。