到了午時，黃明遠便自然地在宮中留飯。黃明遠被楊廣留飯也不是第一次了，二人之間的感情超過了君臣，如父如子一般，黃明遠也不像楊昭、楊暕那樣懼怕楊廣，因此楊廣反而愛留飯黃明遠。
二人吃飯，多是黃明遠吃而楊廣看。
黃明遠如往常一般用飯，該吃便吃，該喝便喝，並不忸怩。而且黃明遠多在楊廣身前，知曉楊廣的喜惡，倒也不會失禮。
上首的楊廣不時的讓人給黃明遠添菜，黃明遠倒是來者不懼。正吃著飯，快到尾聲，一旁的楊廣擦擦嘴，放下毛巾，忽然隨意地問道︰「明遠，你以為現在的總管制度如何？」
此時正吃著飯的黃明遠差一點嗆出來，強忍著吃驚壓下這口咳嗽，黃明遠又忙端起杯子壓下這陣驚慌意。
黃明遠早就感覺到楊廣想廢除總管制，但沒想到會這麼早。不過此次楊諒造反是個契機，若不是楊諒擔任並州總管，職兼文武，大權獨攬，也不可能有實力發動這般規模的造反。而與之相比，整個大隋實際上是有四個超級總管的。
這時候提起總管可不是後來那些太監頭子或者是僕人頭子，總管實際上是漢末三國的都督諸州軍事改叫的，初始于北周，興盛于大隋。總管，顧名思義，全面管理。這時候的總管加使持節，管理轄區軍政民政。所轄區域增減無常，一般轄數州，多者可達數十州。因為總管管轄的州府數量不同，共分為上、中、下三個等級的總管府，其中上總管視從二品，中總管視正三品，下總管視從三品。除了並州、揚州、益州、荊州四大上總管府，其余數十個總管府的地位差不多相當于一衛大將軍或將軍。
這些總管府遍布全國，大隋號稱三十六總管，雖然實際上因為廢止，在相同時間同時存在的並沒有那麼多，但也可看出其數量之盛。而這些總管職兼文武，上馬管軍，下馬撫民，幾乎算是唐朝軍閥的翻版，與節度使有著一拼。實際上若不是北周和大隋中央控制權力極強，且王朝壽命並不長，早就出現軍閥割據的想象。
黃明遠在豐州為什麼權力這麼大，甚至是想做什麼便做什麼，除了因為是邊州，民風比中原州郡開放，外部壓力大，掣肘少。另一個原因便是總管有持節殺人的大權，既是地方官吏，又是欽差，有著不向朝廷報告便可以誅殺下屬官吏的權利，除了天子，無所畏懼。
這些總管的存在嚴重影響了中央政府的集權。
黃明遠明白，楊廣這是在試探自己這種總管制既得利益者的態度。凡擔任總管者，除了少部分皇親國戚和文官忠臣，超過九成的還是黃明遠這樣的武將。同時關隴世家也是借著上層的總管府和中下層的驃騎府、車騎府，這才將觸手鋪展到全國各地。
黃明遠此時立刻便明白，楊廣詢問自己不僅僅是要自己對總管制度的看法，還有自己的態度。而對于現在的黃明遠來說，天子的態度就是自己的態度。若是廢除了總管制度，雖然會影響到自己在豐州的一些布置，但廢除了這些總管才能確保以後不會出現軍閥割據的現象，後來唐朝的統一也才會阻力那麼小。番薯
黃明遠立刻跪在地上，長揖于地，對楊廣說道︰「即使聖人不詢問明遠對于總管制度的態度，明遠也是想向天子進言的。總管制度對于現在的大隋，實際上已經弊大于利，到了不得不廢除的地步。」
楊廣一愣，沒想到黃明遠直接提到了廢除。
不過楊廣仍是上前扶起黃明遠，又笑著說道︰「明遠不必如此拘束，這只是你與朕的探討而已。」
黃明遠便說道︰「總管制度，實際上是東漢以來，群雄割據，列國兼並，中央政府為了保持對邊疆地區的控制，不得不設置的一種制度。在戰時階段，可以有效地發揮屬地的全部資源，便于對敵作戰；戰後又能集中力量穩定當地局勢，安撫百姓，此制度對于大隋初建之時，發揮了巨大的作用。
但凡事有利必有弊，總管權勢的巨大，也威脅到中央政府的權威。當初北周之時，相州總管尉遲迥聯合青州總管尉遲勤、鄖州總管司馬消難、益州總管王謙等人舉兵叛亂，整個天下震恐，其聲勢之大，幾乎覆亡了長安。而實際上若不是幽州總管于翼、徐州總管源雄、毫州總管賀若誼、利州總管豆盧勣這四人忠于朝廷，當時勝負尤未可知。而這一次漢王叛亂，一人作亂而河北盡反，此皆為總管制度的大害。
總管統帥諸州兵馬，掌兵權；兼任刺史，掌民權；征闢官僚，署理財權，可謂是一地之主也。而朝廷將一地的從叛不做約束，完全寄托于臣子的忠心之上，這難道不是一件很可怕的事情嗎？」
黃明遠越說越激動，仿佛與此制度不共戴天。當然黃明遠也不過是表明一個自己的態度而已，所言不過是盡可能的夸大、矯飾而已，並沒有直接深入到總管制度的根本問題。
倒也不是黃明遠不想就這個問題展開細述，而是楊廣想廢除此制度，黃明遠說什麼都沒有用。實際上歷史上楊廣于大業元年二月剛平定晉陽，而晉州、絳州要到同年七月份才平定，這種局面下楊廣仍舊是力排眾議，于大業元年三月便廢除了總管制度。
果然楊廣听了不住地點頭，黃明遠算是說到了楊廣的心里。其實這件制度主要還是觸踫到關隴貴族的利益，只要大多數文官不反對，而作為軍中領袖的黃明遠也帶頭支持，楊廣便有決心廢除總管制度。
在黃明遠看來，廢便廢了，但要有補救措施，使得總管制度被廢除之後，地方上不至于生亂。若是楊廣如歷史上那般廢完之後便完了，豈不是胡亂作為。
此時的楊廣眉開眼笑，笑著說道︰「明遠之見，老誠謀國，與朕不謀而合。真該讓那些老臣們看看，什麼是為國為民？什麼是擔當大事？如此真知灼見，他們羞不羞煞。」