對于役夫的事情，楊廣總算讓了一些步，黃明遠也不敢逼迫太甚。至于延期之事，更不要提了。
因此為了防止下面的官吏陽奉陰違，黃明遠乃常于各處工地巡視，總算震懾住不少的官吏，勉強使得役夫的生存、生活條件得到了改善。
六月初，嶺南傳來消息，攻打林邑的驩州道（又稱日南郡，即今越南北部）行軍總管河陰縣公劉方卒于軍中，原本剛被楊廣下令在林邑故地設置的蕩州、農州、沖州三州十二縣再次全部淪陷。
而此時朝廷對于三州的官員還沒有完成任命呢。
林邑，即今越南中部。延袤數千里，有城郭、宮室，隋時已有文字，信佛教，人民主要從事農業生產。林邑之地乃是西漢設立的日南郡象林縣，東漢末年，本地有名為區連者，殺害縣令，自稱林邑國王，從此象林縣從漢朝的統治下獨立出來。
林邑雖然去中原萬里，但實際上與中國聯系密切。東晉幾次進攻林邑，都沒有成功。而南宋後來攻滅林邑，但因為南北朝混亂，還是讓林邑復國。
到了文帝末年，群臣有人言林邑多奇寶，文帝圖掠珍寶，乃授劉方為驩州道行軍總管，籌劃處理林邑方向的事務，以尚書右丞李綱為司馬，帶兵進攻林邑。
此時劉方正擔任為交州道行軍總管，剛剛平定了交趾（治宋平，今越南河內）李佛子叛亂，俘獲俚人（古族名，主要分布在廣東西南沿海及廣西東南等地）首領李佛子。
也不知道楊堅是怎麼對林邑動了心思，不過正巧大隋剛北伐成功，天下無事，而劉方所部的南征主力正好位于交州還未返回，所以楊堅要趁機摟草打兔子，平了林邑這個隱患。
但實際上林邑國雖然狹小，但國人人性凶悍，果于戰斗，便山習水，不閑平地，至于居止，或東西無定。相對中原來說，多為野人，並不是那麼容易平定的。
而且嶺南之地氣候潮濕悶熱，多瘴氣，環境惡劣，北方士兵不耐當地氣候。
東晉時期，幾次兵敗便是明證。
楊堅如此一拍腦袋，既沒有長久的規劃，也沒有攻佔林邑之後長久的布置，完全如土匪劫掠一樣腦袋發熱決定，真是讓人咋舌。
不過劉方果是一員名將，隋軍戰力也遠超還是野人的林邑。
劉方得令之後，既無可靠的補給，又無後援，乃派欽州刺史寧長真、驩州刺史李暈、上開府秦雄等人率領步騎兵一萬余人出越裳（大體位于今日越南廣平省、廣治省一帶），收復了一直被林邑侵佔的漢日南郡（即驩州）的南部，穩定了形勢。
劉方又在驩州打造戰船，準備水路並進。
可是劉方這邊準備好了，卻沒想到天子楊堅忽然去世，國家大喪，接著便是漢王叛亂，整個朝廷混亂不堪，等到形勢安定，時間已經過去數月。
新繼位的楊廣跟其父也差不多，是個喜歡開疆拓土的人，因此命劉方繼續攻打林邑。懶人听書
仁壽四年底，劉方命寧長真、李暈率數千主力從越裳翻越山脈，直逼林邑國月復地；而劉方親自率領大將軍張愻、司馬李綱等人統帥水師出比景港（今越南廣平省巴洞以北地帶），奇襲林邑主力軍身後。
大業元年正月初，劉方軍隊近萬人乘坐數百艘戰艦到達林邑出海口。
林邑國王梵志正率軍應對北面的隋軍，這次猝然遇襲，措不及防，倉促應戰，阻擊軍隊立刻被劉方擊敗。梵志兵敗逃走，又命麾下分兵把守各處要道，阻擊劉方。
這時梵志麾下有人獻計，隋軍強大，不可力敵，可誘敵深入，以象兵破之。
劉方一路追擊潰逃的梵志，主力渡過黎江（今越南中部日麗河）。而此時林邑增援的士兵乘坐巨象，從四面八方攻來。
隋軍多是北方人，根本沒有見過能夠征戰大象，雙方剛一接戰，劉方所部便遭遇失利。劉方眼看大象皮糙肉厚，難以一戰，便命人挖了許多小坑，用草蓋上，作為陷阱。
劉方讓士兵向林邑軍隊發起挑戰，兩軍交戰，隋軍佯作戰敗不敵，立刻向後退去。林邑士兵得勝，便趁機追擊隋軍。他們乘坐的大象很多陷入小坑被絆倒，于是林邑士兵非常驚恐，軍隊大亂。
劉方立刻命埋伏好的士兵用弩射擊大象，大象受傷驚懼，立即四散逃跑，根本無法約束，因此將林邑軍的陣勢踐踏擾亂。劉方趁機用精兵繼續進攻，林邑軍大敗，被俘殺者超過萬余人。
敵軍一路敗退，潰敗百里。隋軍一路追擊，歷區粟（今越南廣治省廣治河與甘露河合流處）、六里，前後數戰，每戰必捷，遂至大緣江（今越南中部香江）。
此時林邑人對于隋軍，根本無計可施。他們集中兵力沿江據守，不過卻沒太多長進，還是使用老方法，立柵據險，與隋軍對抗。對于破除這種江邊的立柵，隋軍已富有經驗，因此並不困難的又擊敗了對方，渡過了大緣江。
劉方率軍追擊，屢戰屢勝，追過了馬援銅柱以南，用了八天就打到林邑的國都典沖城。三月，屢戰屢敗的梵志放棄了都城，逃到了海上。劉方率軍入城，繳獲用金子鑄成的廟主牌位十八枚。
楊廣聞詢大喜，此乃其登基之後第一次開疆拓土之功，因此楊廣不準備見好就收，而是下令在林邑故地上設置三州十二縣，使其永為中國之土。
正常情況下，隋軍大勝，此戰便也結束了。不過劉方所部都是北方人，肯定不能在此長居，因此劉方乃刻石立碑，記錄了這次征伐的功績，爾後帶著戰利品返回。
朝廷又安排劉方的司馬李綱，率領嶺南本地的士兵，前來接手林邑，處置林邑被佔領後的事務。
南土炎熱多雨，北方士卒，包括劉方本人在內，都不能適應此種特殊氣候，士卒多患腳腫，死者十之四五。而劉方到了交趾，也患病死于途中。
劉方一死，軍心渙散。
而隋軍主力撤後，林邑王梵志則趁機卷土重來，趕走了留守的隋軍，重佔國土。至此，劉方數年攻伐林邑之成果，毀于一旦。