黃明遠返回東都不久，河北來旨，天子也即將到達。黃明遠這一次雖然一路大戰，但行軍速度太快，竟遠遠的將楊廣甩在了身後。
楊廣又享受了一次長途行軍，可此次與以往得瑟不同，這次楊廣的御駕在返回中原的一路上頗不太平。
自黃明遠和宇文述二人率領主力隋軍南下之後，楊廣也帶了近二十萬人馬從遼東徐徐返回。因為有黃明禎的留守，所以這一次楊廣也不如歷史上那般走得匆忙，更沒有遭到高句麗人的尾隨追擊，傷亡慘重。
楊廣到達臨渝關之後，听聞葛公趙元淑參與楊玄感謀反，已被黃明遠抓獲，是勃然大怒，令人前往趙元淑面前質問。趙元淑一直被關押，早就想好了說辭，因此便推月兌自己因為與楊玄感家通婚，所以才有交往，至于所得的金寶更只是娉金，實無其它緣故。
可惜趙元淑不了解楊廣的性格，楊廣若是主觀上認為是某個人的錯，你若是主動認錯，他還可能放你一馬，至于狡辯，只會得到更殘酷的懲罰。
因此楊廣听到趙元淑的推月兌更是氣憤，對侍臣們說道︰「這就是反狀，何必反復問！」于是下令在涿郡處死趙元淑和魏氏，並沒收趙元淑的家產。
于是朝中與楊玄感交善的大臣人人自危。
兵部侍郎斛斯政是北魏常山王斛斯椿的孫子，明悟有器干，初為親衛，後以軍功授儀同，甚為楊素所禮，又被楊廣倚為心月復股肱。他也與楊玄感交好，甚至參與了楊玄感的叛亂，幫著楊氏兄弟逃回中原。听聞趙元淑身死，他內不自安，便趁機逃亡了高句麗。
楊廣大怒，命人追殺斛斯政。可惜沒能捉住斛斯政，楊廣只得下令將斛斯政全家盡誅殺，甚至與斛斯政交好的也被一同處死、流放。
此時雖然還沒有平定楊玄感之亂，但由此引發的清洗已然開始。趙元淑、斛斯政不是第一個也不是最後一個，但他們的遭遇卻實實在在地割裂了君臣關系，也讓大隋朝廷越發的動蕩。
很多時候，人心散了，朝廷也便亂了。
楊廣還不知道此事的危害，他的注意力很快被其它事所轉移。因為他的車駕一路南來，在河北遭遇了大股的流民。這些流民或是成群結隊的乞活，或者便成了盜匪襲擊天子車駕的運輸隊。雖然最後盡被隋軍主力擊潰，並未對天子車駕造成多大損害，但此事更讓楊廣慍怒。
楊廣是個好面子的人，好面子到虛榮。他自以為自己功蓋秦皇漢武，乃「千古一帝」，被盜賊襲擊的事情簡直讓他顏面喪盡。楊廣對此當眾發了脾氣，大批的地方官和戍衛官軍被處置。楊廣甚至指責虞世基等人「難道天下壞到這種地步」。
在楊廣的心中，這還是那個蒸蒸日上的大隋，雖偶有微恙，但不過是疥癬之疾，不足為慮。
對于楊廣的質問，無人敢答。
楊廣以為是律法還不夠嚴苛，乃下令「盜者籍沒其家」，即為凡作盜賊的人其家屬財產都要被官府沒收。而此時因為連續兩年的災禍，河南、河北流民無數，四處求活，流民與盜匪之間的關系本就很難分辨。而楊廣的這條詔令，使得各地的郡縣官吏各自作威作福，任意地對百姓生殺予奪。百姓苦不堪言，無路可走之下，只得為匪，以至于為亂匪者更是越來越多。
很快，又一件大事發生，徹底撕開了楊廣的遮羞布。
楊廣的車駕隨從高達二十多萬，男男女女，各色身份皆有。行軍起來，隊伍拉得長達數十里，往往前軍到了一個城池，後軍才剛出發。而眾人自是把戍衛的重心放在了楊廣的身上，因此一些邊邊角角的位置便會被眾人忽視。
楊廣到達河間郡，駐蹕在高陽縣。
車駕的最後是役夫隊伍和運送的物資，因為沒什麼大人物，自是沒有守衛在意。亂賊高士達自稱北齊王室，听聞楊廣車駕返回東都，便想著趁機襲殺楊廣，重建北齊。但這種事也只是想想，操作起來根本不可能。
高士達始終沒有找到合適的機會，便縋在天子車駕之後。
這日踫巧禁軍趕著往高陽縣，使得防線出現了疏漏。高士達趁機偷襲運送物資的隊伍，殿後的禁軍措不及防，損失慘重，連著役夫，傷亡數千人，大量御制物品和一些宮女、內侍被叛賊所擄。
高士達一擊得手，便立刻撤退，根本沒給隋軍報復的機會。空留得到消息的楊廣在六和城內大聲咆哮卻無濟于事。
楊廣怎麼能吃這種虧，這幾乎是打臉。
憤怒的楊廣立刻下令各地官府大肆捕殺亂民，凡疑跡者一同處置，寧可殺錯，絕不放過。楊廣的詔令殺氣騰騰，立刻使得河北的動亂變得更加劇烈。
但還不僅僅是這。
福無雙至，禍不單行。之後不久，黃明遠平定楊玄感叛亂，消息傳到楊廣的行在，楊廣大喜，終于一掃多日來的憂心和郁氣。然而欣喜的事情沒多久，又有壞消息傳來。
被俘虜的叛軍大將韓世諤在被押運行在的途中竟然月兌逃。
韓世諤被捕之後，便每天讓看守者買些酒肉以酣暢飲宴，還揚言說道︰「我死在朝夕，不醉干什麼！」他又漸漸以酒來敬看守者，看守者也和他日漸親近，成了酒友。最後韓世諤灌醉了看守，于是得以逃走投奔山賊，不知所終。
一件又一件的事情終于讓楊廣爆發了，不過楊廣沒有奮發圖強，而是處死了兩名進諫的御史。
此事一出，朝內外嘩然。
起居舍人虞世南請楊廣收回成命，被楊廣訓斥道︰「我性不喜人諫，若位望通顯而諫以求名，彌所不耐。至于卑賤之士，雖少寬假，然卒不置之地上。汝其知之！」或許是因為虞世南是虞世基的弟弟，所以才逃得一死，但也被貶出朝廷。
眾人為楊廣的話嚇得膽寒，只要進諫，不管身份，就沒有好下場。至此朝野內外，再無人敢向楊廣說真話。
而虞世基、裴蘊二人，投楊廣之所好，貶斥忠臣，提拔佞幸，漸漸掌握了朝堂。自此楊廣不