五月二十日，也就是江都兵變之後的第十三日，宇文化及率江都小朝廷撤離江都城。撤離人員包括軍隊四萬多人，以及六萬多官吏、眷屬、內侍、宮女、僧侶甚至是外族使節。至于物資，則是多不勝數。
為了運送這些人員和物品，宇文化及一共動用包括天子龍舟在內上千條船。這些船只從江都碼頭向北一字排開，幾乎望不到頭。
因為時間較急，而朝廷又沒有合理地制定離開計劃，從撤退開始，整個撤退便陷入一片無序之中。
先是宇文化及帶著天子、蕭後以及百官登船，這倒也算正常，畢竟要將天子安置在核心位置。
接著宇文化及便命令軍隊和攜帶的物資登船。
然後，就沒有然後了。
所有的眷屬、僧侶、內侍都是自行組織登船，別說安排登船路線，就連個登船順序也沒有。
于是大量的人員搶著登船，很快撤退秩序便開始混亂起來。
大街上、城門處、河道中，盡是爭道之人。
人群擁擠，相互推嚷，鬼哭狼嚎，光是踩踏事故和落水事故，就發生了數百起。到處都是爭執，到處都是哀嚎。
甚至有一些出不得城的官吏眷屬，竟然命令家僕持棍棒開道。
後來，為了奪路和爭船，眾人就是持刀槍搏命了。
還有城中的無賴子，趁著朝廷大撤退的機會，伺機出來擄掠。這個時候，誰還管身份地位。一些沒人護衛的家庭，直接就被搶掠了財貨，甚至一些膽大的，連女人、小孩都公然搶奪。就連宮中的侍女，在撤退的途中，都不知道被擄掠了多少。
整個江都城中，幾乎成了修羅場。
這場由撤退衍化的逃難，從一大早開始，到了傍晚也沒有結束。船只走了一批又一批，可鬧劇卻像是沒完沒了一般。
不少人暗暗祈禱，幸好黃維揚沒有殺過來，否則就得是大崩潰啊。
當然這些鬧劇宇文化及是不知道的。他早在禁軍主力護衛下，坐著又大又舒服的龍舟離開了。
當初楊廣南下江都，嫌龍舟數量太少，于是又命人再打造三百艘巨大龍船。可惜船成之後，楊廣卻再也沒有離開江都，這些龍舟現在都便宜了宇文化及。
眾人向北，一路撤到高郵停歇。
在高郵，宇文智及又派人收攏了駐扎在此地的樊文超、張童兒二部。樊文超二部是楊廣留在高郵看守北大門的，雖也是禁軍，但跟江都禁軍沒太大牽扯。
宇文智及建議宇文化及厚封二人，而二人也因為天子已死，沒了去處，遂投入宇文化及麾下。
多了兩萬多軍隊，宇文化及實力提升了一半，回關中的底氣更足了。
收降樊文超和張童兒，高興了宇文化及兄弟，但有人又不高興了。
江都之亂，造反的是禁軍，獲得最大成果的卻是宇文兄弟。雖然宇文兄弟掌握了政權，但宇文智及並不敢放松對禁軍的警惕。
畢竟禁軍可以反天子，也能反宇文家。
于是宇文智及建議兄長明升暗降，分了司馬德戡和元禮的兵權。不過這只是治標不治本的手段，軍中的兵權依舊掌握在二人部將手中，時刻威脅宇文化及的地位。
收降樊文超和張童兒之後，宇文智及手中多了兩張牌可以打，軍事上不用再完全依仗司馬德戡了。
為了進一步打擊司馬德戡的威望，削弱司馬德戡的實力，宇文智及采取抬高樊文超和張童兒的手段，不僅使二人的部隊和造反禁軍一個地位，還屢屢在司馬德戡面前抬高二人，貶低司馬德戡。
如此手段，終于激怒了一直對宇文化及兄弟不滿的司馬德戡。
這日分配糧食，宇文智及故意先給樊文超、張童兒、陳智略等人所部分配，而把司馬德戡的親近軍隊放在最後。
不僅如此，宇文智及還故意克扣其部的糧食，並以壞充好。
司馬德戡的部將不忿，找到了司馬德戡。司馬德戡如何看不出宇文智及的用意，只恨得牙癢癢。
司馬德戡本想找宇文智及理論，但不少人都認為如此無用。
一些司馬德戡麾下的將領甚至認為，就是他們之前太軟弱了，才讓宇文智及得寸進尺，一步一步將他們逼到絕路上。再退下去，他們就沒活路了。
司馬德戡作為老大，無論如何，得護持住手下小弟，否則誰願意給你賣命。
于是在部下的攛掇下，司馬德戡帶著人砸了糧船，還打了負責分配糧食的官吏。
這可捅了馬蜂窩。
宇文智及立刻招來了司馬德戡，狠狠地將對方訓斥了一頓。司馬德戡也是心中含怨，又憤恨宇文智及手段的毒辣，當場和宇文智及爭了起來。
兩個國家重臣，在朝會上像流氓無賴一般，大喊大叫，就差動手了。
這般場面，哪有人見過，皆是瞠目結舌。
而宇文化及更是驚慌失措，根本無力約束二人，只得暗暗生氣，又無可奈何。
回到自己船上的司馬德戡，仍是氣憤填膺，不能自已。
「他宇文智及算什麼東西，若沒有咱們殺了楊廣，他還是剛月兌了奴隸身的罪吏，江都城中，狗都不如。這時候倒給咱顯擺上了，也不看看他靠的的誰？」
「將軍慎言！」
跟著司馬德戡一同回家的趙行樞連忙勸道。
這些日子，因為跟宇文智及惡化的關系，趙行樞跟司馬德戡又重新走到一起。
司馬德戡倒是很信任他，連一些話都不避諱。
此時司馬德戡的憤怒勁尚未過，便言道︰「當初你找來司馬德戡，真是害我不淺！當今治平亂世，得靠才識卓絕之人，宇文化及沒才能又怯懦糊涂，整天听信宇文智及的話，而且一群小人在他身邊，這樣下去，肯定要壞事，你說怎麼辦？」
趙行樞也後悔，可于事無補。
于是趙行樞趕忙說道︰「軍隊都在咱們手中，實在不行，咱們就是廢除他又有什麼難？」
趙行樞本是隨口一說，但司馬德戡卻來了興趣。
要是廢了宇文化及，這大丞相不就是自己了。自己帶著這些人返回關中，就是不能稱王稱霸，送給李家，也是份厚禮，最起碼也能得個開國功臣的待遇。