林士弘離開蓮花塘之後，帶著親兵扈從，晝伏夜出，沿著無人的葦蕩、灘涂之地前進，終于到達長江邊上。
這里隋軍的勢力難及，林士弘尋得船後，便立刻渡江南下, 到達九江郡。
此時林士弘尚不知曉王戎已經投降隋軍的消息，因為他剛到達九江，就被一個驚天動地的消息給鎮住了。
林士弘的老巢豫章城丟了。
原本投降林士弘的盜匪張善安率部反叛，秘密投降蕭梁，聯合蕭銑派出的大將蘇胡兒攻取豫章郡，林士弘在豫章的將領或死或降，整個林楚小朝廷幾乎是完全覆滅。
張善安是彭城郡方與縣人, 佔據方與作亂。後來張善安在兗州地區被李鳳陽打得站不住腳，遂一路南逃，流落江淮。不過張善安到了淮南地區也不安穩，他先是襲擊並攻陷廬江郡，但之後為陳稜所擊敗，無法在淮南立足，遂帶領舊部南下投奔林士弘。
林士弘身邊之人都是江州諸郡本地人，所以他並不信任這個南來的北傖，先是讓他在南塘扎營，之後又趁機奪取了張善安的兵馬。
張善安縱橫江湖多年，對手都是黃明遠、李密這些人，本就看不起沐猴而冠的林士弘。于是他雖明著歸順林士弘，卻暗地里聯絡蕭銑。
蕭銑本就有心江州諸郡，于是派遣蘇胡兒來援。此時林士弘傾巢而動，主力而至淮南，國中空虛，于是在張善安的帶領下，蘇胡兒長驅直入，兵臨豫章。
鎮守豫章的林震死守, 但林震本身能力一般，先是讓張善安燒毀外城，接著又被擊破內城。林震兵敗，只得逃至余干縣。
蘇胡兒佔據豫章郡，張善安也趁機南下，佔領了廬陵郡，並自領吉州總管。
至此，整個江州地區的一大半完全落入蘇胡兒、張善安二人手中。而鄱陽郡素來是操家人的勢力地盤，南康、臨川二郡為梁軍阻隔，情況難料，到現在林士弘手中，就只剩下九江一郡了。
面對這種結果，林士弘甚至都想死在江北，也好過現在。
林士弘暗暗想著自己的處境，他決定還得要奪回豫章。
首先他現在所在的九江郡，並不是一個根基之地。九江郡地轄二縣，人口不過七八千戶，西通荊襄，東至江淮, 乃是四戰之地。
而且隋軍不知何時就會南下, 現在九江郡的兵力不足萬人, 沒有後援，根本不是隋軍的敵手。
他要是不投降，就非得南下不可。
其次林士弘並不是很相信唐野。
唐野是楚軍第一大將，但他原來是操師乞的部下，並不比林士弘地位低。而且唐野和操天成關系很好，雖沒有支持對方，但也護著對方。
此時林士弘手中不過數百人，一旦待在九江，就完全至于唐野的手中。即使唐野忠心，難保其部下沒有野心，拿主上的人頭到對手那里換個前程的事還少嗎？
而且林士弘想從唐野手中奪取這支部隊的軍權，若是繼續待在九江，則完全沒有可能。
唐野也覺得九江不可守，又听聞隋軍攻破彭澤縣的消息，遂同意了林士弘的南下之策。
林士弘在九江大肆搜刮一番之後，帶著九千余人一路南下，大軍經建昌縣轉道鄱陽（治今江西省鄱陽縣東北古縣渡）。
林士弘本準備前往鄱陽郡，招撫操家，可還沒趕到，便遇到惶惶然南逃的操天成，這時他才得到消息，從宣城郡來的隋軍突襲鄱陽，操天成不備，將鄱陽郡給丟了。
林士弘大驚失色。鄱陽可不同其他地方，這里是操師乞和林士弘的老家，整個楚軍內部，其高級將領多是鄱陽人。
而且林士弘準備前往臨川，今鄱陽丟失，臨川空門大開，亦不可保矣。
林士弘此時已經不敢再往臨川郡了，誰知道半路會不會遇到隋軍。
四面八方，俱是敵人，林士弘感覺天都要塌了一半，有些不知所措。平日里身邊還有一個王戎可以咨詢，可現在連王戎也沒了。
林士弘一夜沒睡，到了第二日天明，他決定召回逃往余干縣的林震，立刻攻打豫章城。
豫章從兩漢時期就一直是江州諸郡的首府，其地位就像長沙之于荊南，成都之于巴蜀，山陰之于浙東，番禺之于嶺南一般，政治意義重大。
只有奪回豫章城，他才能重新號令江州諸郡，然後和蕭銑談判，聯合蕭銑，抵擋大隋。
很快林震給林士弘帶來了一萬多的軍隊，讓林士弘的實力大增。
之前林震兵敗豫章，並不是實力不濟，而是因為張善安的反水，導致城中混亂。張善安又放火燒城，林震心中惶恐， 不清楚梁軍實力，這才冒失地作出了放棄豫章的決定。
林震到達余干縣之後，收攏軍隊，實力並未損失太大。
林士弘結合唐野、操天成、林震三部，手中兵力約有三萬人，眼看猶有一戰之力，遂率軍向豫章城挺進。
這個時候，也沒人在意林士弘在淮南兵敗，孤身南逃的事情了，所有人都很清楚，若是打不下豫章郡，他們將再次成為一群盜匪，徹底喪失現在的身份和地位。
淮南的事已經不重要了。
三軍很快進抵豫章城下。
蘇胡兒是個武夫，還是個沒多大見識的武夫。他佔領豫章城，就跟老鼠調到米缸里一般，立刻就霍霍開了。
再加上之前張善安火燒豫章城，好好一個大城，被二人弄得烏煙瘴氣，滿目瘡痍，生靈涂炭。
城中百姓被侵擾的不厭其煩，這時候反而盡思念起林士弘來。豫章城畢竟是林士弘經營多時的老巢，他還有些人心的。
林士弘兵臨城下，很快聯絡城中一些大戶，打開了城門，遂殺入城去。
一心只知道擄掠的蘇胡兒是猝不及防，城破之後，只得率兵逃離了豫章城。至此，林士弘的這個老巢又重新被其收復。
只是不過短短半個多月，豫章城幾經戰火，再不復之前的繁盛樣子。
林士弘也顧不得像小兒女一般哀哀泣其，他立刻命令手下前往江陵，去見蕭銑，請求和談。
林士弘清楚，哪怕就是去帝位，稱臣，也得招來梁軍，否則楚國就要完了。