大業十一年三月，冰雪消融，大河剛封凍，整個春意尚未盎然。天子楊廣便如逃一般的離開洛陽，趕往江都。
就是逃。
隋軍在雁門的大勝不是混亂的結束，而是新的動亂的開始。雁門之圍之後，雖然突厥幾乎覆滅，但因為各處援兵北上勤王，原本各地被壓制的亂事越發動蕩。
先是從河北南逃的盧明月肆虐潁川、襄城等郡，逼近洛陽。
之後城父人朱粲，亡命聚眾為盜，謂之「可達寒賊」，自稱迦樓羅王，眾至十余萬，引兵轉掠荊、沔及山南郡縣，所過 類無遺。
又有馮翊人孫華自號總管，舉兵為盜。
之前那些盜匪亂事，雖然規模宏大，但盡是在邊角之地。但這一次亂事已經逼到長安、洛陽的月復心之地，嚴重威脅京畿月復地的安全。
賊勢如此，楊廣再是麻木，也沒法置之不理。
于是楊廣便召集重臣，詢問關于賊亂之事。
對于這種事，眾人吃得虧多了，一般不敢說話，唯有這宇文述粉飾太平慣了，便說道︰「聖人，賊勢減少，不足為慮。」
不過楊廣也不是傻子，只听宇文述兩句場面話，便有些不悅，又問道︰「那比從前少了多少？」
若是換了旁人，說謊被天子直接拆穿，不得心驚膽戰。宇文述這時候仍能臉不紅、心不跳地說道︰「不及過去的十分之一。」
楊廣其實也不清楚真實情況，眼見宇文述言之鑿鑿，倒也信了他的話，因此比較滿意。
也不知道蘇威是不是故意拆宇文述的台，在宇文述說話的時候，他便故意躲到了大殿柱子的後面。
蘇威算是次相，正常情況下黃明遠不在，他要站第一位的。他躲到柱子後，自然引得楊廣矚目。
于是楊廣也問蘇威關于剿匪的事情。
蘇威便說道︰「臣非所司，不委多少，但患匪事漸近，恐逼近洛陽。」
楊廣不明白蘇威的意思。
蘇威便說道︰「過去盜賊只佔據長白山，如今已近在滎陽之地。況且往日的租賊丁役現在又在什麼地方呢？這難道不是人們都變成盜賊了嗎？臣恐天子近來看到上奏的賊情都不是實情，于是措施失當，對盜賊不能及時地加以剿滅。還有，以前在雁門時，已經許諾減輕賦稅徭役，現在仍又大規模征發百姓，盜賊怎麼能夠平息？」
蘇威的話，幾乎是打了楊廣與宇文述的臉。楊廣其實對蘇威說得話有些相信，但蘇威的態度，讓他著實不太高興，卻無話可說。
于是眾人不歡而散。
之後到了新年，百官中很多人都上貢珍玩之物，唯獨蘇威獻上《尚書》。
這時便有人彈劾蘇威，《尚書》中有《五子之歌》，蘇威的含意很不恭敬。
傳說夏啟的兒子太康貪圖享樂，在外打獵長期不歸，國都被後羿侵佔。太康的五個弟弟和母親被趕到洛河邊，追述大禹的告誡而作《五子之歌》，表達了五個人的悔意。蘇威獻上書，便有人認為蘇威是用《五子之歌》影射天子長期出巡之事。
楊廣更生氣了。
不過蘇威也是一國之相，總不能用這麼「莫須有」的事情處置了。
不過新仇舊恨的，楊廣已經不願意再忍受蘇威了。
但似乎蘇威還不清楚自己的處境，越發活躍了起來。
面對越發激烈的群盜之事，蘇威便建議︰「天下之盜，本為良善，蓋因無路乞活，而不得已為盜。天子但赦群盜，自可得數十萬眾，以為爪牙。彼輩喜于免罪，爭務立功，當為一大助力。」
蘇威此言，就差沒明著指著楊廣的鼻子說天底下這麼多的盜匪，都是你逼的了。
楊廣听得心中惱怒，待蘇威離開之後，便掀了桌子。
在所有人看來，蘇威已經是老的壞了腦子，明知道天子的性子，如何非得去惹惱天子。
蘇威的孫子蘇勖便勸大父不要與天子作對，反而為蘇威斥責。
裴矩看得出奇，蘇威這個老狐狸，狡猾了這麼多年，什麼時候突然轉了性子，變成忠臣了。
這時御史大夫裴蘊看出楊廣已經受不了蘇威了，他作為楊廣的白手套，便當為君分憂，因此故意向楊廣抱怨道︰「納言之言乃大不遜也，天下何處有許多賊？」
楊廣也有些憤怒，便說道︰「蘇威這老革極為奸佞，竟然拿盜賊來恐嚇朕，若非顧念他是老臣，朕恨不得打他兩個嘴巴。」
裴蘊知道了楊廣的心意。
很快裴蘊便指使白衣張行本參奏蘇威︰「威昔在高陽典選，濫授人官；畏怯突厥，請還京師。」
用一個白衣彈劾一個宰相，真是滑天下之大稽。
而且彈劾蘇威濫用職權和畏懼突厥，更是無稽之談。尤其是後一條，天子解圍南下，突厥都要覆亡了，蘇威請求天子返回長安，如何成畏怯突厥。
其實裴蘊不在乎過程，他要的就是一個罪名。而且有時候罪名和過程越是荒誕反而越好，天子讓他放手施為。他用荒誕的手法拿下重臣，更能使人畏懼。
楊廣也不爽蘇威好久了，便讓人審查驗證，構成罪狀。
楊廣遂詔「威立性朋黨，好為異端，懷挾詭道，徼幸名利，詆訶律令，謗訕台省。昔歲薄伐，奉述先志，凡預切問，各盡胸臆，而威不以開懷，遂無對命。啟沃之道，其若是乎！資敬之義，何其甚薄！」
于是將蘇威除名為民。
之後不久，有人又告發蘇威與突厥勾結，陰謀舉事，這更是捕風捉影的事情。蘇威就是瘋了，也不可能聯合突厥造反。
但這只是一個理由，裴蘊不打算放過蘇威，要弄死他。
蘇威無法為自己申辯，只得說道「自己侍奉二朝三十多年，精誠所至不能讓天子知道，各種錯誤接連不斷，罪該萬死。」
蘇威自大隋建立就擔任宰輔，四次為相，輔佐天子數十年，年過七十，最後其淒慘之狀，令人憐憫。滿朝文武，莫不唏噓。
楊廣也不忍心處死他，便以昏聵衰老而且多病，放過了蘇威一馬，只是將蘇威子孫三世皆除名。
蘇威時年已經七十多了，被免官之後，便搬出了洛陽，帶著孫子搬到邙山居住。