嶺南之地是大隋的，也是當地的大族豪強的，甚至于因為先是大族豪強，才是大隋的。嶺南之中的高氏、冼氏、寧氏、陳氏、李氏等漢夷之族作為其中的領頭羊，跨州連郡，據有人口，對嶺南的話語權和影響力遠大于大隋官方。
嶺南是沒有世家的，只能算豪強。
不過這些豪強，比世家大族都可怕。
在嶺南，至少是冼夫人活著的時候，甚至可以說是嶺南亂不亂，冼氏說了算。
不提南北朝的那些舊事，單說當初南陳滅亡之後，嶺南並未歸附大隋。各地共推冼夫人為主，號聖母，保境拒守。開皇九年，楊堅遣江州總管韋洸、東來郡公王景一起持節安撫嶺南，但為南陳豫章太守徐璒據南康拒之。韋洸根本進不去嶺南，還是楊廣派人跟冼夫人談判，讓出大量的利益，冼夫人派孫子馮魂親自迎接韋洸至廣州，這才使得嶺南歸附。
由此可見冼氏之強大。
而之後王仲宣、陳佛智等人掀起嶺南大叛亂，廣州城危在旦夕，連廣州總管韋洸都戰死，冼夫人的孫子馮暄亦參與其中。又是大隋跟冼夫人談妥了條件，冼夫人親自領兵平叛，又聯系各部首領前來參謁大隋使節，這才安定了嶺南。
可以說整個嶺南，就是這些豪強大族的樂園。
也就是冼夫人死後，嶺南各家沒了領頭羊，矛盾重重，難以調和。楊廣又不斷地派人分化各家，才勉強維持住對嶺南的統治。
大隋安定之時，這些嶺南大族還算安分，但大隋亂後，嶺南也開始跟著烽煙四起，亂了起來。
大業九年，冼氏家主冼夫人的佷孫高涼郡太守冼寶徹舉兵作亂，嶺南溪垌多應之，算是徹底拉開嶺南紛亂、分裂離析的序幕。
其後各家首領，多有反者。
到衛公元年初，寧越郡太守寧長真控制著郁林郡大部和寧越郡；合浦郡太守寧宣、寧氏族人寧道明、嶺南俚帥龐孝恭等人和馮盎分別控制著合浦郡；粵東俚帥楊世略控制著義安、龍川二郡；梁化鄧氏的鄧文進控制始興郡和南海郡北部；嶺南大酋永平郡守李光度控制著始安郡大部、永平郡北部和郁林郡北部；以馮盎、馮喧、馮士為代表的馮氏家族控制著高涼郡、合浦郡東部、海南三郡等地；冼寶徹、高法澄控制著南海郡大部、信安郡和高涼郡東部；除此之外，還有談殿、陳龍樹為代表的俚僚領袖，控制著永平、永熙、蒼梧三郡周邊的大片地區。除此之外，還有沉遜、歐陽世普、秦元覽、韋闕等人，各依附于幾家大族。至于俚僚等夷族，就不知道有多少了。
可以說整個嶺南，已經完全落入當地豪強大族之手。
而大隋在嶺南的勢力，也就是以黃明聰控制的交趾四郡為主。其余還有始安郡太守李襲志、熙平郡太守丘和龍川郡太守高士廉各據郡城，勉強苟延殘喘。
不過嶺南豪強大族和外來官吏天然就處于對立面，畢竟雙方都是自己控制嶺南的敵人。于是嶺南各族不斷地對外來官吏控制的地盤進行蠶食，打壓其生存空間。
嶺南豪強大族可以依托家族勢力打擊外來官吏，而內部不安，外無援兵的外來官吏們，只得在對方的打擊下，一敗再敗，走向覆滅了。
外來官吏中最堅挺的便是始安郡的李襲志。
始安郡北面是蕭梁勢力，南面是李光度和俚僚各部，在兩面的打擊下，失城喪地，最後只剩下一個始安城（今廣西桂林市）。
面對內憂外患，李襲志傾盡全部家財召募三千士兵守衛郡城。蕭銑、曹武徹、李光度等勢力輪番進攻始安，李襲志每次都是奮力固守，使敵不能攻克。
後來楊廣去世，李襲志因為家族原因便投靠了李淵，被封為桂州總管。
不過封再大的官也不過是一種精神支持，李淵自己都說泥菩薩過江，自身難保，對于始安，他是一兵一卒也給不了。
始安城前後守了一年多，幾乎是兵盡糧絕。
李襲志守得焦頭爛額，便對外尋求援兵，可他身邊熙平郡的丘和也自顧不暇，根本無力支援。眼看再守下去就是覆亡，這時李襲志的兒子李懷儼便建議李襲志可向交趾的黃明聰求援。
李襲志雖在嶺南，但對于中原的情況還算了解的。他本人已經降唐，而黃明聰是衛公的兄弟，必然是投于衛公一方，這樣兩家便成了敵人。
向自己的敵人求援，實在沒有這個先例啊。
李懷儼卻是認為， 不管是唐王還是衛公，其斗爭都是大隋內部之事。而與嶺南大族之間，卻是事關民族大義。只要黃明聰不想整個嶺南落入到嶺南大族手中，就不得不救援始安郡。
再說救人也是救己，若始安、熙平二郡完了，嶺南各家必然會把矛頭指向交趾。
李襲志卻是覺得兒子的想法過于想當然，這不只是一個救援的問題，而且事關是唐還是衛的站隊。
李襲志當然傾向于李淵，從大同開始，他就不喜歡黃明遠這個人。
無關其他，就是不喜歡。
所以黃明遠幾次給他寫信，勸他听說信都朝廷的命令，他都沒有在意。
現在若是向黃明聰求援，等援軍解圍之後，他們該何去何從。是繼續跟著李唐，然後跟黃明聰翻臉，還是倒向黃明遠。
這都是問題。
兩個選擇都很困難，翻臉那是背信棄義，可若是投降黃明遠，他又心不甘、情不願，而且他還有家族拖累。
山南李氏，位于西城郡，也是李唐的重要支持者。
李襲志說了這些疑慮，李懷儼卻不以為然。是李淵沒法援助他們，他們為了生存投向黃明遠，本就是天經地義。
而且李懷儼也不看好李淵，听說李淵屢戰屢敗，連關中都丟了，蜷縮于巴蜀一角，苟延殘喘，能有什麼作為。他們降了黃明遠就降了唄，怎麼看都比跟著李淵強。
李襲志滿心無奈，最後還是決定按兒子的建議，向交趾郡求援。
兒子說得對，一切為了生存。