時光飛轉，很快便進入大業三年。
年初，楊廣任命張衡為御史大夫，罷相事，算是免了相職，使其專掌御史台。說不上是升還是降，張衡本來在宰相里面存在感就低，而這兩年，楊廣身邊的核心事務也漸漸轉到虞世基、裴蘊那里。對張衡來說，他本就為人耿直，性格直率，擔任御史大夫似乎更合適。
不過黃明遠卻是有些擔心，張衡這兩年與之前相比變化不大，但天子的性格卻發生了極大的改變。張衡還以事晉王、事太子的方式對待天子，能不得到楊廣的疏遠。
至少在黃明遠看來，張衡罷相，是楊廣要拋棄那些不喜歡阿諛的直臣的一個信號。
同月，納言楊達遷為右衛大將軍，罷相事。
楊達這位不管事的宰相總算是卸任了。他能成為宰相，更多的是因為他宗室身份，但楊廣卻並不看重宗室。
二月，楊廣命令內史令楊約到京師祭祀祖廟。楊約走到老家華陰，想到兄長新喪，因此便決定繞道前往拜哭。此事為御史知道之後，上書彈劾，楊約因此被坐罪免官。
整個大業三年初，楊廣一口氣罷了三位宰相，初登基的八相此時只剩下蘇威、牛弘、裴矩、黃明遠四人。楊廣也不增補宰相的人選，反而讓增補裴蘊為給事黃門侍郎，虞世基為內史侍郎，參與朝政。
每每有朝中政事，皆是楊廣與裴蘊、虞世基二人相商，然後交給朝臣辦理，反而把蘇威、牛弘幾個宰相排除在外。
蘇威、牛弘、裴矩三人都不是那種性格強勢的大臣，也不敢與楊廣爭權，而黃明遠更是成了第二個楊達，也不參與諸多事務。至于裴蘊、虞世基，唯諾取容，不敢忤意，因此大權皆操于楊廣一人之手。
楊廣大權獨攬，駕駛著大隋這個龐然大物在楊廣獨有的軌道上超速前進，不能停止。此時，已經沒有人能夠讓這輛超速的列車降降溫了。
三月，辛亥（初二），楊廣返回長安。
月中的時候，傳來消息，太子楊勇六子皆死。
黃明遠知道這個消息之後一驚，不是楊勇的兒子才被流放嶺南了嗎？怎麼這麼快便死了。
楊勇去世之後，留下八個兒子。其中楊裕因為之前黃明遠刺殺案早死，楊儼因為仁壽宮變而死，還有六人存世。
當初仁壽宮變，雖然楊儼是主謀，但黃明遠勸楊廣不要將其名字公布，只推給柳述、元岩二人。畢竟楊儼與楊勇牽連太深，容易給不軌之人口實。
楊廣同意了黃明遠的做法。
這楊儼便被傳在朗州養病，直到大業元年初，黃明遠平定楊諒之亂，才傳出楊儼在朗州病逝的消息。
至于楊勇諸子，楊廣開始沒想著處置他們。
前年，滕王楊綸、衛王楊集被告發怨恨詛咒皇帝，因此除名為民，流放邊郡。而楊廣又想起了他六個佷子。
對于楊廣來說，前太子留下的六個兒子就是隱患啊。誰知道這幾個人哪天被有心人利用，偷偷逃了出去，便打個旗幟造反。這種事成功不了也折騰死你，折騰不死也惡心死你。
楊廣不想再留後患，希望一勞永逸。
當時元德太子楊昭知道楊廣的想法之後，拼命向楊廣替這幾個堂兄弟求情。直言若是囚禁著這些人，過些年也就沒人知道他們的生死了。可貿然加害，一旦傳揚出去，又會給一些心懷不軌之人詆毀天子的機會。
當時楊廣也沒有完全下定決心，再加上楊昭苦苦求情，遂同意了楊昭的請求。而楊勇的六個兒子也被囚禁于長安的內侍省，與外界斷了聯系。
可誰知道天不佑人，楊昭早死。而原本並不擔心繼承人問題的楊廣也因此著了急，楊暕是個渾蛋，楊佶等幾個孫子都還小，稍有差池，他連繼承人都沒有了。
楊廣一邊打定主意造人，一邊下決心鏟除楊勇的六個兒子。
這時候便有人來為楊廣排憂解難。
當初楊勇被廢之時，雲昭訓的父親雲定興和太子宗衛率長史車騎將軍閻毗皆因為取媚太子楊勇而獲罪，他們及其妻子兒女都被官府沒收為官奴婢。過了兩年，才放免為民。
不過二人都有看家的本事，擅長藝術行業，手工、建築、木匠活都是絕世無雙。楊廣繼位之後，進行許多營建工作，听說他們構思奇巧，就召來讓他們掌管營建之事，任命閻毗為朝請郎。
而雲定興用從女兒那里得來的明珠絡帳等寶物賄賂宇文述，與之結交為友，並用奇裝異服和新穎別致的音樂向宇文述獻媚。然後他還制作許多精美的衣物、兵器、甲仗等，由宇文述呈進，以奉承天子。
雲定興比閻毗下的功夫多，但結果卻不如閻毗。
宇文述非常喜歡雲定興，當時楊廣要征討四夷，大造兵器，宇文述推薦雲定興來監造，楊廣同意了，但還是沒授予其職務。
雲定興實在不解，便向宇文述詢問原因。
宇文述對雲定興說道︰「您有如此好的手藝，你所造的器仗都合乎聖人的心意，但就是得不到官做，知道為什麼嗎？那是因為太子的幾個兒子都還沒有死啊！」
雲定興听了也滿是戾氣，狠狠地說道︰「這些沒用的東西，皇上就該把他們殺了！」楊廣听說之後很高興，就封雲定興為少府丞。
這時宇文述向楊廣進言道︰「太子的幾個兒子都已成年了，現在您正要出兵征討四夷，倘若讓他們跟著您出征，就很難掌管，倘若把他們留在一個地方，又恐怕不妥。進、退都不好辦，請您早些處理。」
楊廣遂決定處死幾個佷子。
黃明遠當時進言，不要在長安動手，避免人多嘴雜。楊廣覺得很有道理，遂將楊勇的六個兒子分別流放到嶺南，派人在路上把他們全部殺死。
黃明遠不由得長嘆一聲，他建議楊廣流放楊勇的幾個兒子，也是希望趁機能讓幾人活命，沒想到楊廣如此狠辣，直接出手將眾人殺死。而傳說代表天子處死楊勇六子的，便是雲定興，其中還有他的親外孫安城王楊筠。
楊廣又把楊勇的姬妾分給親信眾人，原潁川王楊煚之母成姬便賜予黃明遠。看著半老徐娘的成姬，黃明遠暗暗發誓，自己若是不想妻妾有如此下場，便不能輸，自己沒有退路了。