決定了移民的事情，黃明遠主要的目的也便達成。
不過還有其他參與叛亂之人，仍需處理。實際上在楊廣眼中，要處置的也是這些人，至于那些附逆的普通百姓，楊廣也沒有將他們當成人。
對于這些人，黃明遠並沒有絲毫同情。這些人不是普通老百姓，所以他們很清楚造反的後果，既然期望投資楊玄感的叛亂來獲利，同樣也要準備承受楊玄感叛亂失敗後所要遭受的打擊。
而且這些人大多是傳統的保守派，舊貴族，反對楊廣的改革，他們正是黃明遠要打擊的。
這時楊廣便說道︰「明遠以為，若是對普通亂民以流放為主，則對于其余參與叛亂之人是否也該選擇流放？」
黃明遠趕緊說道︰「聖人萬萬不可！」
黃明遠很清楚這是楊廣對自己的試探。楊廣高高在上，根本看不起底層的百姓，將之視作螻蟻，所以黃明遠對普通老百姓的收買人心在楊廣看來是婦人之仁，從不在意。但對于朝中的世家大族、文武百官則不一樣，這些人是一個國家統治的基礎，也是統治的威脅，楊廣當然不希望黃明遠與這些人有什麼勾連。
楊廣這麼問是想看看黃明遠到底有沒有認清自己的位置。
听到黃明遠的反對，楊廣倒是露出一絲微笑，他接著有些考教式地說道︰「明遠以為為什麼不可？」
黃明遠立刻說道︰「老百姓出身卑賤，多沒有受過教化，因此即使受人蠱惑也可以理解，只要聖人對他們寬宏大量，必能得到百姓的效死。但朝中的文武官員不同，這些人飽讀詩書，通曉禮儀，深受國恩，本應該為國盡忠。但楊賊反叛，這些人便不思為國，投降楊賊，致使亂匪糜爛，京師荼毒，可謂是大不忠不孝，非嚴懲不足以平民憤，非嚴懲不足以儆效尤。」
楊廣听後，嘴上的笑容更明顯了。
不過楊廣似乎是為了逗黃明遠一番，便說道︰「可是朕听說有不少人認為，這些人都是國之棟梁，且從賊之後大多反正，殺之不祥。」
黃明遠听後，立刻生氣地說道︰「此等人皆是別有用心，一派胡言。若這些人都是國之棟梁，那那些為了剿賊陣亡的將士又算什麼？若不殺盡逆賊，憑何讓為國捐軀的將士瞑目？」
楊廣听了也是為之動容，高聲說得︰「好個‘若不殺盡逆賊，憑何讓為國捐軀的將士瞑目？’就該讓朝堂上的那些人听一听，什麼才是大義之言，什麼才是忠君愛國。」
黃明遠的這句話，基本便決定了一眾人的命運。
現在楊廣所用的一眾人中，不是虞世基、裴蘊、宇文述這種奸佞，便是樊子蓋、衛玄這種嚴苛之人，唯一一個寬仁的黃明遠不反對，自是沒人去觸這個眉頭。
黃明遠雖然常與楊廣意見相左，但大多時候卻可以勸得動楊廣，因此話語權一直都很重。
想到這里，黃明遠又說道︰「臣有一事，是關于先楚公楊素的。」
楊廣本以為黃明遠要提張壽的事情，但是沒想到黃明遠又扯到楊素身上，便說道︰「明遠且說。」
黃明遠乃說道︰「臣听聞有人勸聖人剝奪楊素身上的全部追餃，貶為庶民，開棺戮尸，臣以為萬萬不妥。」
楊素的墳墓早在楊玄感造反之初便被衛玄挖了，現在的墳墓還是楊玄感到了弘農之後又重新修建的。
對于楊素，楊廣一直是又喜又畏，又用又防，最終他不需要楊素了，便把楊素逼死了。這一次楊玄感叛亂，不僅楊氏宗族受到屠戮，而作為楊玄感的父親，楊素雖死，但也是死後不寧，不僅墳墓被挖，連死後的哀榮也要被剝奪。楊廣雖然沒有表露意見，但也是默認了此事。至于朝堂之上，更無人敢為楊素說話，因此此事便不公開的進行了。
听到黃明遠提及此事，楊廣便說道︰「明遠以為此事不可，楊素無罪？」
楊廣說話就是這麼氣人。
黃明遠忙說道︰「當然不是，楊素有罪，罪在十惡不赦。他生了楊玄感這般逆賊，就是大隋最大的惡人。僅憑此事，如何處置楊素他都不冤枉，但是現在楊玄感已死，為了天下安寧，聖人需將楊玄感與楊素區分開來。」
「這時為何？」
楊廣有些不解。
黃明遠接著說道︰「天下諸將，誰人不曾在楊素麾下為將，若說楊素舊部半朝堂也是實話，至于姻親、門生、同鄉、同僚等關系更是錯綜復雜。因此若是大肆牽連楊素，必會使得朝中眾人心生畏懼，使得朝野不安。方今朝廷，實不宜有如此動亂，唯有不動楊素，方得安定人心。
且楊素有大功于國，是大隋的開國元勛，功蓋朝野，本就是大隋標志性的人物。一旦楊素的地位動搖，必然有些事涉及到天子和先帝，怕是于國不利，于聖人不利。」
楊廣本來還不以為然，但是听到黃明遠的話也漸漸回過味來。當初楊素可是在他立為太子的道路上出力頗多，若是將楊素打倒，那豈不是說明當初的太子是對的，這是對楊廣帝位一個重大打擊。
後世為什麼對于楊廣即位詬病那麼多，總以為是楊廣、楊素對楊勇構陷才使得楊勇被廢，不就是二人被打成了昏君和佞臣，成了反派，那楊勇自然成了正派。
這時楊廣才如夢初醒地說道︰「非明遠在此，朕幾致大悟。楊素有大功于國，其家族雖負朕，但朕卻不負忠臣。」
「陛下聖明！」
黃明遠接著說道︰「臣以為楊家人該處置的便處置，絕不可使一人漏網。至于楚公，天子便可命人修繕墳墓，配享太廟，使之成為大隋一個符號。一如當年漢武帝殺盡衛家，卻不動搖衛青的地位一樣，聖人若如此，則翌日也將不會有人在冒用楚公的名諱生亂了。」
楊廣沉默了一會，腦海里都是昔日關于楊素的事情，平心而論，楊素的確沒有負過自己，就連死都如自己所願。
「一切皆依明遠之言吧！」