實際上除了黃明遠，也沒多少人關系一個已經死了五六年的前太子的兒子的情況。五六年的時間足以讓天下大多數人忘了楊勇。
很快，所有人的注意力都轉向了另一件事，官制改革。
四月初，楊廣下了一份新詔令，百官不能按正常的考核制度升級，必須有德行，並有顯著功勞、能力的人才得以提升。
此令一出，百官嘩然。本來當官有幾個不為升官，而正常的考核制度升級，保障了大部分普通官員的利益，他們可能沒有太多的關系疏通門路，也無法直達天庭，也就是靠著一步一步的考核升級，才得以升職。而現在還要考教德行，還要有顯著功勞、能力，這不是活活堵死了他們上進的路嗎？
這年頭有本事刷德行、功勞的還會在下面郡縣當官。
黃明遠很想看看楊廣的腦回路，作為一個到達權利頂峰的天子，真的一定要一步一步把自己玩死嗎？官員不按正常的考核制度升級，不是給了官員上下其手的機會。能夠得到提拔的，不是那些能力未必強但關系一定硬的人嗎？這樣的制度，損害最大的不是天子的權利嗎？
而楊廣卻似乎看不出來。
楊廣實在太吝惜名位，群臣中有應當升官進爵的，多讓其兼職暫代而已。雖然有的職務有空缺，卻空著不補上。
四月上旬，楊廣下令設置選曹大臣。
楊廣終于向吏部下手。
原本牛弘擔任吏部尚書，掌管著官員資料以及人事任免權，可以任免四品及以下官員，但此時的牛弘根本不能專行其職。
這一次楊廣任命納言蘇威、兵部尚書左武衛大將軍黃明遠、左翊衛大將軍宇文述、給事黃門侍郎裴矩、左衛將軍張瑾、內史侍郎虞世基參予掌握選擇官吏之事，他們六人和牛弘被合稱為「選曹七貴」
七人之中，蘇威、牛弘、黃明遠、裴矩皆是宰相，宇文述、虞世基是天子心月復，武將之首，至于張瑾則是楊廣扔給關隴世家一個打醬油的，以堵住他們的嘴。
張瑾為人性格懦弱，膽子也不大。他是宇文述的下屬，曾經在軍中說了一些話，宇文述覺得不中意，竟然直接瞪著大眼斥責張瑾。張瑾也是無能，竟然嚇得惶懼而走，因此為眾人所譏笑。
七人之中，根本沒人拿官小位卑的張瑾當回事，他也沒有話語權。
雖然這七個人同時在坐，當楊廣又借著虞世基插手其中。因而官吏升遷任免的實權，實際由虞世基借著楊廣的權利獨霸。而虞世基本人也是一個貪官，收受賄賂，行賄多的人就超越等級和不按一般常理去提拔，不行賄的人就只能原地踏步而已。
當然，一切還不僅如此。
大業三年（607）四月，壬辰（十四日）。
楊廣下令︰
增置殿內省，與尚書省、門下省、內史省、秘書省為五省；增謁者、司隸台，與御史台為三台；分太府寺置少府監，與長秋、國子、將作、都水為五監。
將十二府衛改為十二衛四府。其中改左、右衛為左、右翊衛；左、右備身府為左、右驍衛；左、右武衛仍為舊名；改左、右領軍府為左、右屯衛；加置左、右御衛；改左、右武侯府為左、右侯衛；改左、右領左右府為左、右備身府；左、右監門府仍為舊名。其中宇文述仍領左翊衛；楊達領右翊衛；黃明遠領左武衛；李景領右武衛；獨孤覽領左驍衛；來護兒領右驍衛；郭衍領左侯衛；衛玄領右侯衛；張定和領左屯衛；于仲文領右屯衛；而新設置的左、右御衛，並未設置大將軍。備用站
減並州縣，改州為郡，以郡統縣，恢復秦制，實行郡縣二級制。同時，在郡上設置司隸、刺史十五員，司監察之職。
改度、量、衡，全部依照古制。
改上柱國以下官為大夫，原上柱國以下至都督共十一等，現改為光祿、左光祿、右光祿、金紫光祿、銀青光祿、正議、通議、朝請、朝散九大夫，改開府儀同三司為從一品文散官階。
當然上面幾條，無論怎麼解釋，都可以讓人接受。
但下一條就讓所有人崩潰了。
廢伯、子、男爵，只留王、公、侯三等爵。而且將以前所賜封的爵位、勛位、散官全部廢除，立功後重新再封。而且所封爵全部變成了光祿大夫之類的散官、文官稱號。至于原本龐大的王府、上柱國府、柱國府等各級屬官，全部撤銷。
平心而論，這些改革好不好？好！
可眾人願不願意接受？不願意！
楊廣此舉，可以說是將世家大族的勛官、爵位、門望，以及官員的升級，通通都廢除或者凍結，對于門閥來說就剩挖祖墳了。
可以說對于所有世家大族來說，楊廣可謂是寇仇。
自隋亡到唐亡，白馬驛之禍，朱溫將三十多名頂尖門閥領袖，左僕射裴樞、清海軍節度使獨孤損、右僕射崔遠、吏部尚書陸扆、工部尚書王溥、守太保致仕趙崇、兵部侍郎王贊等「衣冠清流」三十余人，投尸于河，這才標志著世家政治的滅亡。
而楊廣竟然準備提前三百年完成這個事情。所以三征高麗之後，眾人對大隋群起而攻之，再無人真的忠于大隋，李唐起兵入關中如摧枯拉朽一般，都是在此埋下的禍根。
當然，黃明遠阻止不了。
對于楊廣的政策，黃明遠曾向楊廣進言︰「如此快步急行，容易崴腳。」
楊廣卻回黃明遠道︰「天下之大，不快步疾行，如何能夠快速前進。道路漫長，雖偶有崴腳，不過是疥癬之疾，不足為慮。」
黃明遠無言。
可疥癬之疾終成肘腋之患，乃至病入膏肓。
對于這些改革，其他人不滿，黃明遠自是不能不滿。而且黃明遠身上的衛公，本就是改制後的爵位，不在廢黜的行列。
楊廣又以黃明遠和宇文述為開府儀同三司，為散官最高職務。引得所有人羨慕不已。沒辦法，誰叫人家是心月復呢？
除此之外，趙國公獨孤纂被封為蜀公；莒國公蕭琮被封為梁公；豆盧願師被封為雍丘侯，全是楊廣的親戚。再加上黃明遠、宇文述、楊玄感三人，整個朝廷上上下下一共只有六個人有爵位。
事實上不只是黃明遠看到了問題，連婦女、小孩都明白楊廣之策的弊端。