對于楊廣來說，林邑之事更多的在于其顏面問題，所以大隋再次出兵林邑之後，楊廣也就不關心出征的情況。
實際上滿朝內外，也沒有幾個人會對這個犄角旮旯的地方關心。在眾人看來，什麼林邑國，不過是個野人之地，又是一個鳥不拉屎的地方。
不是沒人對黃明遠的積極態度感到吃驚，但黃明遠嗎，天子的爪牙，以討好天子為目的。況且他一個武夫，對開疆拓土之功天然的在意，沒什麼大不了的。
黃明遠自五月底正式入值尚書省，雖然沒有正式的職務，但天子將原本蘇威獨霸的尚書省之權一分為二，黃明遠成為了尚書省的二號人物。
雖然黃明遠之前也是宰相，但一個管事和不管事的宰相實際上是有天差之別的。黃明遠因此權勢更盛，成為了朝堂上一股不可忽視的力量。至于其得天子信重，整個大隋朝堂無出其右者。
黃明遠入值尚書省之後，並未變得驕縱，待人處事一如往常。在他看來，若是大隋某一日真的會亡，那在大隋的窠臼里為了一點權力爭斗不息，實在是自尋煩惱。
尚書省本來一直是蘇威的自留地，黃明遠擔心自己來此蘇威會心中不舒服，破壞了雙方的聯盟，因此對蘇威越發的恭謹有禮，其姿態倒也讓蘇威說不出話來。
蘇威今年已經六十四歲，也算是垂垂老矣。但其權利欲越發旺盛，若不是來的是黃明遠，他心中忌憚，早想辦法將對方擠兌出去了。
這些日子，蘇威面對楊廣的咄咄威逼，步步退讓，在群臣看來，已經失了宰輔的身份和氣度，頗為眾臣詬病。但蘇威卻依然我行我素，不為眾人的言語有所變化。實際上開皇十二年的「朋黨案」，早把一個政治家的脊梁打斷了，他現在只是一個政客。
蘇威看得很清楚，楊廣用他不過是遮羞而已。沒看到這些日子權利基本上都到了裴矩和張衡二人手中，納言楊達早就不管事了，拱手將門下省的事情交給了裴矩。
蘇威打定主意，老老實實地等到退休，別跟天子過不去。對于黃明遠，他並沒有足夠的本錢和對方對抗。
至于楊廣，那就是尊神，供起來吧。
很快，震驚朝堂的「滕王衛王案」爆發，讓楊廣的狠辣與嚴酷更明明白白地暴露于外。
楊家人之間的關系實在奇葩，本就人丁稀少，還內斗不止。早在楊堅時期，就有兄弟反目之事，惹人議論。
楊廣當上天子之後，對待諸王的恩寵很薄，卻多有猜疑防範。他的兩個堂兄弟滕王楊綸、衛王楊集心中感到憂慮恐懼，就叫術士卜問吉凶並打醮求福。
楊綸讓術士王琛而問之，還令沙門惠恩、崛多等為其度星法事（哪里都有和尚們的事，尤其是這些陰晦之事）；楊集讓術士俞普明章醮以祈福助。二人越玩越大，最後便有人告發他們怨恨詛咒天子，楊廣便讓黃門侍郎王弘追查此事。不管此事的真相如何，也不知道楊綸、楊集二人到底是不是真的怨恨詛咒天子，到最後王弘給楊綸、楊集二人判了一個坐當死。
楊廣便下詔群臣如何處置二人，楊素便說道︰「綸希冀國災，以為身幸。原其懷惡之由，積自家世‧‧‧‧‧‧其先乃離阻大謀，棄同即異，父悖于前，子逆于後，非直覬覦朝廷，便是圖危社稷。為惡有狀，其罪莫大，刑茲無赦，抑有舊章，請依前律。
集密懷左道，厭蠱君親，公然咒詛，無慚幽顯。情滅人理，事悖先朝，是君父之罪人，非臣子之所赦，請論如律。」暖才文學網
也不知楊素是不是投天子所好，反正義正言辭的要處死這二人。
黃明遠素來不參與這種事情，也不發表意見。不過楊廣似乎沒打算放過看熱鬧的黃明遠，又讓黃明遠表態。
二人詛咒之事，本就是說不清楚，以這樣的罪名殺死兩位親王，純屬笑話。再說大隋現在一共只有三位親王，一口氣殺了兩位，讓天下人怎麼看。
黃明遠只得說道︰「雖復王法無私，恩從義斷，但法隱公族，禮有親親。致之極闢，情所未忍。」卻是反對處死楊綸、楊集二人，而是建議將二人除爵便可。
楊廣似乎也覺得一日殺二親王將會鬧得有些大，便同意了黃明遠的建議，下詔將楊綸、楊集除名為民，流放邊郡。
楊綸、楊集被廢，對于大多數人來說，也不過是楊家自己的事情，宗室本無恩于國家，其被立、被廢，無關緊要。
不過此事倒是讓僅存的蔡王楊智積嚇得不輕。楊智積之弟高陽郡公楊智明亦以與楊綸、楊集交游奪爵，本就謹慎的楊智積逾懼，乃闔門自守，非朝覲不出
楊智積有大才，是楊家少有的文武之人，而且為人謹慎小心，是個可以倚重的人，但楊廣卻不用。
黃明遠尤其不理解楊廣的心思，哪怕這些堂弟各懷心思，也要想辦法收為己用。在世家大族林立的今天，楊家本就出身卑微，若是再不仰仗親族，又能靠誰呢。
似乎從八王之亂始，皇族之人就尤為忌憚自家人。天下三百年混亂，各國被誅殺的皇親國戚沒有一萬也有八千了。
實際上，宗族之內有矛盾很正常，但生死存亡之時，最靠得住的依舊是宗族。為上者對待家族子弟還是要公正廉明。黃明遠底下十幾個弟弟，他對每個人都盡心盡力，不偏不倚，因此眾人也把他當做父兄來看待，听從他的安排，黃明遠也竭盡全力地培養他們。這些家族子弟才是自己未來能靠得住的人。
黃明遠也不會自討沒趣地去勸諫楊廣，去親近自己的兄弟。當然，他現在也沒有能親近的兄弟了。
好像從楊堅開始，兄弟之間就關系不好。楊堅做大哥的，與其弟楊整、楊瓚關系不好，甚至楊瓚曾數次陰謀圖害楊堅。至于楊廣兄弟，楊昭兄弟，也不過是徒惹笑柄而已。
楊綸、楊集都是朝廷內部可有可無的人物，因此沒有人會在意。
或許是怕人議論自己苛待宗族，楊廣又以三叔滕穆王楊瓚第六子，楊綸六弟楊詵，襲封滕王，以奉穆王嗣。至于楊集沒有兄弟，衛王一脈直接斷絕。
這件事對黃明遠影響並不大，但是卻讓黃明襄很是激動。
黃明襄寫信給黃明遠說道︰「常棣之華，鄂不韡韡。凡今之人，莫如兄弟。天子連兄弟都不愛，又怎麼可能愛天下人。」
黃明遠不知道天下有多少人心中是這般想的，但楊廣這位天子的演技，的確是太差了一點。