對于楊暕，黃明遠很清楚，你就不能給他臉。他就是一個無賴，還是一個欺軟怕硬的無賴。而對付這種無賴，就是你要比他更強硬。
听聞楊暕因為氣走了黃明遠，而高興的在府上舉辦宴會，黃明遠決定要盡快解決這個問題，于是黃明遠前往齊王府。
楊暕听說黃明遠的求見之後更是欣喜，他以為黃明遠這是向他服軟，既然如此，他就更好好的羞辱黃明遠一番，讓他知道雙方的身份，因此楊暕便故意將黃明遠晾在大門外一個時辰。
黃明遠終于對楊暕忍無可忍，可在大庭廣眾之下，不便發作。進入楊暕府上，黃明遠看到對方，楊暕還想說兩句風涼話，黃明遠便直接上前揪住楊暕的衣領，將他提起來威脅道︰「楊暕，你我本井水不犯河水，可你這些日子肆意妄為，禍亂朝堂，屢屢羞辱于我，真以為我不敢殺了你！」
楊暕被黃明遠的所為驚住了，費勁掙扎卻難以月兌手。
眼看黃明遠目露凶光，殺意凜然，楊暕嚇得是肝膽俱裂，真以為黃明遠要殺他，更是結巴道︰「黃明遠，你‧‧‧‧‧‧你可別亂來，我‧‧‧‧‧‧我是齊王，你‧‧‧‧‧‧你要是殺了我，聖人是‧‧‧‧‧‧是不會放過你的‧‧‧‧‧‧求你，求你，別殺我！」
黃明遠當然不會殺了楊暕，眼看其丑態百出，黃明遠便一把將其擲到地上，然後冷冷地說道︰「我殺你如屠狗一般，今日不殺你，是怕髒了我的手，但你若是再敢對我不敬，看我不弄死你。」
黃明遠威脅完楊暕之後，便堂而皇之的離去，只留下嚇得如爛泥一般的楊暕，趴在地上瑟瑟發抖，良久不曾起身。
此事來的快去的也快，好像沒有發生過一樣。因為事情發生在齊王府上，楊暕更是三緘其口，令人不得傳揚。
不過此事過後，楊暕再也不敢在黃明遠跟前囂張跋扈了。
黃明遠打上門去的做法當然不是莽撞，而是知道楊暕畏威而不懷德，一味退縮沒有任何意義，反而讓楊暕以為自己軟弱。這次狠狠的震懾其一番，雖然直接，但省去了無數麻煩。
至于楊廣那里，只要自己不說話，不過是扯皮而已。
果然如黃明遠所料，楊暕被黃明遠狠狠地羞辱了一番，當然不忿，還上奏天子，彈劾黃明遠對其無禮。不過他與黃明遠關系眾人皆知，楊廣也沒有當真，他根本就不信這個兒子的話。
而黃明遠更是當做什麼也不知道。
失了告狀這個辦法，楊暕還真沒法奈何黃明遠，楊廣不信任他，說什麼都沒有用。他又恐黃明遠再次報復，只得老實起來，再也不敢與黃明遠為難。
因此朝廷倒是無事了一段時間。百度
黃明遠畢竟是宰相，又威望顯著，因此他不想讓楊暕插手朝政，楊暕本人還真的無可奈何。朝政上插不上手，楊暕這個留守只是一個空名頭，他本人也只得再次沉浸于聲色犬馬之中。
作為一個被寵壞的孩子，楊暕為人驕縱恣睢，又昵近小人。黃明遠雖然斬斷了楊暕插手朝政的手，但也不可能完全限制楊暕的日常生活，因此楊暕便派喬令則、劉虔安、裴該、皇甫諶、庫狄仲、陳智偉等人尋求聲色狗馬。喬令則等人因此放縱，訪得人家有美女的，就假傳楊暕的命令叫來，送到楊暕府內，隱藏起來，恣意婬亂，然後拋棄。洛陽之中因為楊廣的原因，胡人遍布，因此厙狄仲、陳智偉兩人便向胡人搶取食物，勒索名馬，得數匹馬進獻給楊暕。楊暕也知道父親對胡人的重視，因此命他們送還主人，庫狄仲等人卻謊稱是齊王的賞賜品，將馬歸為己有，楊暕本人卻不知真實情況。
很快，楊暕的聲名便越來越爛了。
不少人便建議黃明遠上書天子彈劾楊暕，至少也不能讓他做的太過分，但卻被黃明遠拒絕。陸貞、陳遠等人不解，畢竟陸貞這里有楊暕無數的罪狀，可謂是罄竹難書。
黃明遠說道︰「天子雖然討厭楊暕，但畢竟是其唯一的嫡子，若無謀反等大罪，天子是不會處置楊暕的。我若是彈劾楊暕，反倒是讓天子以為我容不下他。」
在黃明遠看來，讓楊暕在天子與天下人面前失分，本身就是打擊楊暕的一個方式。楊佶等人做的越好，楊暕錯誤越多，人心便會越清楚，雙方的地位便會逐漸易位，而勝利的天平也會落到楊佶這邊。
沒多久陸貞便向黃明遠稟報，楊暕又搞了一個大消息，與人通奸。
楊暕的妻子韋氏，是原民部尚書韋沖的女兒，較早去世。而韋沖是北周名將韋孝寬的親佷子，官拜民部尚書。
京兆韋氏，地位尊崇，是關隴世家漢人中最頂尖的門閥，有著「城南韋杜，去天尺五」的美譽。韋氏去世之後，楊暕沒有新娶妻，但是卻和韋氏的姐姐元氏婦（因嫁于元氏，故稱元氏婦）攪和在了一起。二人私通，生下一個女兒，外人都不知道。楊暕暗中召引喬令則在府內設宴飲酒，喬令則為慶賀此事，甚至月兌掉楊暕的帽子以助歡樂。楊暕又招來看相的人讓他遍視後庭，看相的人指著元氏婦說︰「這個生孩子的婦人要做皇後，王爺您富貴不可言。」
楊暕大喜，于是更寵信元氏婦，而元氏婦在齊王府上，亦如當家主母一般。
楊廣這個人雖然驕奢婬逸，但是極其重聲譽，好面子。一旦楊暕與人通奸的事情傳出，必會引得楊廣震怒。而且韋家地位崇高，為了身份、名譽，也會選擇與楊暕決裂。
在陸貞等人看來，這是扳倒楊暕最好的機會了。
黃明遠想了想，最終沒有選擇直接彈劾楊暕，而是讓人將此消息放出去，先在京中人家傳播。等到人所共知的時候，自然而然會傳到楊廣的耳朵里。到時候楊廣想要捂住此事怕是也不可能了。
事依然要做，但不能是自己做。
雖然這些錯處對于楊暕來說都未必一擊致命，但日積月累，此消彼長，楊暕的太子夢怕是會落空了。