由不得黃明遠不如此謹慎，實在是前事不忘，後事之師，有太多的前車之鑒讓黃明遠去警醒。事實上黃明遠榮立大功之後，不少人便紛紛跳出來彈劾黃明遠，想從黃明遠身上挑錯立威的不在少數。
去年底，北伐大軍還沒有從漠北返回，治書侍御史柳彧便上書楊堅彈劾黃明遠治軍無方，放縱劫掠，在攻破突厥牙帳時，一些珍寶文物，牙帳珍藏，都被兵士搶掠一空，請求司法部門予以審查。而之後大理寺卿梁毗更是彈劾黃明遠在草原上妄造殺孽，肆意屠殺俘虜，還殺良冒功，導致草原之上，人神共憤，要求將黃明遠下獄論處。
而之後御史台的御史似乎如發現了腐肉的蒼蠅一般，紛紛跟進彈劾黃明遠。
實際上這種彈劾，倒不是這些御史真的以為黃明遠有罪，除了一些惡意打擊報復，更多的人還是想趁機踩著黃明遠上位，當然也是對黃明遠的一種震懾。
幸好楊堅總算清楚過猶不及的道理，震懾一下黃明遠是可以的，但是不要做得太過，畢竟黃明遠還統大軍于外，難道不擔心黃明遠會弄出些亂子嗎。
而且楊堅也算是知道黃明遠的忠誠，更了解行軍之事不比其它，對于眾人彈劾的軍機不嚴、屠殺戰俘等事更是嗤之以鼻。他並沒有動黃明遠的心思，便不予奏準。
在豐州得知消息的楊昭也趁機積極為黃明遠說好話，這才將這波彈劾熱潮壓了下去。
不過楊堅帝王手段高超，剛任由眾人彈劾黃明遠，制造聲勢，給了黃明遠巨大的壓力之後，便派人撫慰黃明遠，言「有人誹謗你，現在朕已經明白了真相，你千萬不要把這事放在心里。」又賞賜給黃明遠絹二千匹，以安其心。
黃明遠雖然知道此事已了，但還是驚出一身冷汗。
黃明遠也清楚此事是慣例，李靖、侯君集、郭子儀、狄青、曾國藩‧‧‧‧‧‧哪個得勝還朝的大將沒有遭遇過各種各樣的彈劾，上至陰謀作亂、禍亂朝綱、圖謀不軌，下至自己的個人私德，都是人家的攻擊點。這些奏疏彈劾的會讓你自己以為自己便是一個十惡不赦之人。
這一次沒人彈劾自己居功自傲、意圖不軌就是好的。這是君主、朝廷默許的對領軍大將的敲打，給大將一些警醒，勿要得意忘形。
黃明遠因此表現的無絲毫怨懟之心，天子使節到來之時，黃明遠便一個勁地叩首謝罪，承認罪過。
黃明遠的表現令楊堅很是滿意，因此楊堅公開在朝堂上表示黃明遠是一個忠君愛國之人，之後這些彈劾才漸漸消弭。
至此之後，黃明遠便越發低調謙恭。他賴在豐州不走，除了的確有很多事情要去布置，也是希望能和楊昭一起返京，隱匿在楊昭身後，讓楊昭多替他擋一些風雨。
所以這一次回京，黃明遠事事以楊昭為首，倒是省卻了無數的煩惱。
不過楊堅那里不在意，楊廣這里卻是很在意。
這一次黃明遠回京之後，前往東宮去見楊廣，楊廣也逮著黃明遠狠狠地訓責了一番，直言「縱觀從古至今的歷史，身處富貴而能知足的人很少。他們不論愚智，都不能有自知之明，這才招致禍患。王敦、桓沖之禍，皆是如是也。」
楊廣這帽子戴得，都要把黃明遠嚇尿了。自己何德何能，現在能與王敦、桓沖二人相比，人家是在朝中「立天子」的等級好不好。
黃明遠听得冷汗直流，立刻伏在地上，一個勁地向楊廣請罪，其狼狽之狀，從未有之。如此這般，這才使得楊廣滿意。
楊廣倒還是信任黃明遠的，這一次也是例行舊事，敲打一下黃明遠，勿使黃明遠產生驕縱之心。也是向天下人表明自己公正嚴明，不徇私舞弊。而黃明遠恰好做了那只悲慘的雞。
不過楊廣做的尚有些刻意，還不如楊堅那般圓潤。
楊廣之後便把黃明遠扶了起來，勉勵了黃明遠一番，接著便不住地詢問關于漠北諸部的事宜，倒是事無大小，俱問了一個遍。而之前剛剛一番怒斥的樣子，跟現在判若兩人，使得黃明遠還以為剛才如夢一般。
楊廣最後還客氣地留黃明遠在東宮用飯，但被黃明遠拒絕了。
當日離開東宮，黃明遠尚後怕不已。
現在黃明遠才發現自己這些年來苦心經營的一切在君主的權威與現行的規則體系面前，實則是一文不值。
此事之後，黃明遠越發深悉「恩威難測」、「伴君如伴虎」的道理，自己此時時刻有所警醒，要深懼盈滿，能知足而退。
與此之後，黃明遠便準備進入一種半隱居的狀態。
回京之後的楊昭，立刻被父親拉到東宮一起處理朝政，他的這個太孫名頭，可不是虛的。而黃明遠無事一身輕，心態放松之後，反倒最是清閑。
楊堅不在長安，朝廷一大半的核心班子都被楊堅帶到了仁壽宮，留在長安的大多都是大小貓兩三只，根本不重要。也因此很多事務都要轉仁壽宮辦理，像並不這樣的部門更多的是維持自身的運轉罷了。
黃明遠索性沒有直接去兵部上任，而是告假在家休息。
實際上黃明遠所擔任的諸職務中，無論是左武衛大將軍、兵部尚書還是太子右庶子都是極其重要的職位，權利極重。
同樣這種老牌的權利機構，其內部傾軋也是相當嚴重的，哪怕自己身為老大。
黃明遠知道自己作為外來戶，在京中各部門中幾乎沒有什麼根基，一旦上任，肯定會受到原有權利體系的各種各樣的排斥，甚至為難。若是別的時候，黃明遠或許會沉下心來，花費一番功夫，將這群老油條們一一收服。但現在已經是仁壽四年，楊堅也沒有半年的時間好活了，等到楊堅身死，這些原本的權利體系勢必要發生翻天覆地的變化，到時候自己背靠楊廣，更容易行事，因此自己現在沒必要一回來便扎堆到三省六部里面跟他們爭權奪利，還顯得吃相難看。
黃明遠在豐州是一言九鼎，但是到了長安，卻是無根之萍，受制于人，無論資歷、地位、根基還淺薄的很。雖然得立大功，但較之歷史上霍去病那樣的顯赫的地位還相差甚遠。
既然如此，還不如冷眼旁觀的自在。