此時楊廣覺得四處都是要害他的人，唯有到了江都，他才能有些安全感。于是楊廣便匆匆下令，三月便下江都。
此令一下，滿朝嘩然。這個時候，正是留在洛陽，平定叛亂的時候，如何能去江都這一隅之地偏安。
但楊廣根本不管，他就是要去江都。在他看來，東都已經被那些野心勃勃的人充斥了，這些人勾結在一起，意圖謀害于他，他若是再留在江都，必為這些賊人所害。
滿朝文武，除了宇文述以外，都不贊同。
宇文述極力勸楊廣南下，留在洛陽，樊子蓋等人見他如仇人一般，他也不願意。而且有人出重金請他說動天子南下，宇文述雖然不知道這些人想干什麼，但也猜測沒什麼好事。
但這跟他有什麼關系，他又不是天子。宇文述愛財如命，為了錢財，沒啥不能干的。
楊廣要南下，領左侯衛大將軍趙才立刻出來勸諫道︰「今百姓疲勞，府藏空竭，盜賊蜂起，禁令不行，願陛下還京師，以安兆庶。」
趙才是酒泉人，屬于關隴一脈的偏支。他們忠于天子，但又希望天子能夠返回長安，使政治生態回復到開皇時代，因此在朝中屬于身份尷尬的一批人。
趙才性格比較直，肅遏奸非，無所回避。
楊廣听了趙才的話，是勃然大怒。他現在最不想听的就是「賊啊，賊啊，回京啊，回京啊」這些詞，趙才這是戳他肺管。換了旁人，他直接就下令處死了。
不過楊廣也把趙才下獄，關押了十多天才放出來，他要殺一殺這個老匹夫的驢脾氣。
建節尉任宗以盜賊充斥全國為由，在建國門上表勸阻江都之行，楊廣勃然大怒，先摘掉任宗的下巴，然後將他處死。
至于其他人，若是官職低微的進行勸諫，直接為楊廣杖斃。于是眾人見楊廣態度如此堅決，更沒人敢勸諫的了。
三月五日，楊廣下令越王楊侗留守洛陽。
往常都是燕王楊倓留守，但隨著楊倓年歲愈長，影響力越來越高，在身邊人的慫恿下，便生出了一些其它的想法。
有一次楊廣听到有人慫恿楊倓討好天子，與皇太孫楊佶爭權，便勃然大怒，處置了楊儼身邊的師傅。雖然有楊佶幫著求情，沒有廢黜楊倓的王位，但他待楊倓較之前疏遠了許多。
說來也怪，越是通過奪位上來的君主，越不喜歡下面的子孫去奪位，也是奇了怪了。但上行下效，這不是天子可以阻止的。
楊佶隨行，楊侑留守關中，楊侗在楊昭四子中身份最透明，于是反而被祖父委以重任。
同楊侗一起留守的，是民部尚書樊子蓋。
這次楊廣也知道離開洛陽的時間短不了，于是便令尚書右丞張方翼、太府卿元文都、吏部侍郎韋津、右武衛將軍皇甫無逸四人佐之。
三月八日，楊廣乃從洛陽出發，南下江都。文武百官于上東門送天子。
這一次南下，眾人都是神情郁郁，情緒也沒有那麼高。若是可能，沒人願意跟著去。
楊廣看出眾人眉間的愁緒，但也沒多說。
本來無事，他更不會找事。
不過這般場面，著實壓抑的很。楊廣便故意與身側的黃維烈說道︰「猊奴，當初汝父護衛朕南下，便如這般盛景。」
此次天子南下，大半個朝堂百官都要跟著，包括眷屬。
雖然黃明遠不在洛陽，但身份特殊，按道理裴淑寧也要跟著。不過裴淑寧自年後便對外稱「病重」，不再會客，等到南巡之時，便難以成行。
黃維揚兄弟替母親告病，因為兄弟二人在，楊廣自是允了此事。而黃維揚又趁機以照顧母親為由，將妻子長孫觀音婢留下。
至于清河公主，身份特殊，黃維烈有心不讓她去，但這卻是不可能的。
斛律敏兒和七七都帶著孩子去了幽州，而陳婤這種有誥命的妾室，黃明遠不去，裴淑寧也不去，她自不用去。
此時黃維烈騎在馬上，一身戎裝。身為折沖郎將，便護衛在天子身邊。父親之前來信讓他入職軍中，盡量掌控一支兵馬，黃維烈遂申請入軍。
他雖然才十三歲，年紀尚幼，但因為去年雁門之圍中突出的表現，身在軍中，也沒人敢輕視。
听到楊廣的話，黃維烈便回道︰「臣此次護衛天子，必不辱吾父英明。」
楊廣大笑道︰「勇氣可嘉啊。」
折騰了一上午，一眾人終于成行，文武百官，內侍、宮女，僧侶護衛，還有眷屬，總計十多萬人。
楊廣此次離京，很多不能跟著一起去的嬪妃、宮女便在送行地隊伍高喊。
楊廣倒是听得心有戚戚，于是作詩道︰
「我夢江南好，征遼亦偶然。
但存顏色在，離別只今年。」
一眾宮女听了，也齊齊吟誦，倒是讓人潸然淚下。
黃維揚听到楊廣的詩，心中念道︰「天子之詩，透露出弄弄悲意，倒像是一首自述，著實不祥。‘離別只今年’，不知道還能不能回來。」
楊廣這次南下，要帶的人太多了，甚至被貶為庶民的蘇威，也要帶著。幸好裴蘊、虞世基等人言蘇威「老悖且多昏聵之言，恐不能用」，楊廣遂罷。
蘇威的確已經病重到時日無多了，至少旁人看到的是這樣。
不過等楊廣的鑾駕離開之後，蘇威的病竟然好了。
原來蘇威之前故意觸怒楊廣，便是不想跟著楊廣南下江都。他早就看出了楊廣怕是要大廈將傾，他自不願隨楊廣殉葬。
于是蘇威便帶著孫兒、家人，匆匆離開北邙，投黃明遠而去。
此時楊廣向東，盜賊已經出現在洛口倉一帶。虞世基請求楊廣增加援兵，楊廣卻嗤笑道︰「卿是書生，定猶怯也。」
不過楊廣還是听從了虞世基的建議。他到達鞏縣後，命令有關部門將箕山、公路二府移到洛口倉內，並命令修築城池以備不測。
楊廣南下，多有官員阻攔。
楊廣到達汜水縣（今河南省滎陽市西北汜水鎮）後，奉信郎王愛仁又上表請求楊廣返回西京長安，楊廣殺死王愛仁又繼續南行。
楊廣到了梁郡，這時梁郡又有人勸阻，並上書楊廣道︰「天子若遂幸江都，天下非天子之有！」
楊廣又把人殺了。
至此，文人士子，再無人心向楊廣。