平定楊玄感之亂後，黃明遠便主動交出兵權，不給人絲毫詬病的機會。大隋王朝這個爛攤子，除非朝廷從上到下的進行改革，否則不是哪一個人可以扭轉局勢的，黃明遠真心不想參和。
此時雖然戰事已必，而黃明遠孝期卻是仍未過，黃明遠真想再回鄒山守孝，不管朝中風雨。不過楊廣這段時間心理上受到打擊，看誰都不信任，所以為了自身安全，身邊還缺不得黃明遠，自是不會放黃明遠離開。
天子御駕回到東都洛陽，黃明遠也跟隨楊廣一同回返。
這一次平叛雖然加了個檢校司空的職餃，但其實對于黃明遠來說這種虛職並沒有多大意義，不過是長點俸祿，但是卻讓黃明遠更引人注目。
三公啊，即使加個檢校，大隋開國也沒有幾個，能做到三公的，除了皇室，都是李穆、于翼、楊素這群人，哪個不是權傾朝野。
或許這個職餃讓人更能直觀的看清黃明遠的地位。
不過黃明遠並不認為這是一個好事，出頭的椽子先爛，往後要面對的四面八方的風雨將會更多。
黃明遠因此也越發低調，借著未出孝期的名義，除了前往皇宮，平日里連府門也不出，什麼客人都不見。
洛陽的府上除了黃明遠和次子維烈，都跟著裴淑寧在鄒山老家，因此府上格外空曠。至于朝臣，也都知道黃明遠有意低調，即使想上趕著攀附，每每都是吃了閉門羹，即使你說破大天黃府的門子也不會讓你進去。因此除了楊佶兄弟會時不時的來拜訪，便沒有人敢上門，更沒人會邀請黃明遠了。
府上的主子們都回鄒山了，黃明遠一個人在家，難得清閑和自由。
黃明遠雖然閑不住，卻是一個喜歡清閑的人，更是一個喜歡田元的人。現在不用勞于案牘之中，整日和陸貞釣魚、下棋、吟詩、作畫、種花、采菊‧‧‧‧‧‧倒是朗月清風，怡然自得的很。
怨不得這麼多皇帝昏庸，誰又能忍得住這般愜意的生活。
看著二人游山玩水輕松自在的快活樣子，你很難想象二人一個是個殺神，一個是暗夜之王。
楊廣一開始也以為黃明遠如此是一種偽裝，後來發現自己這個臣子是真的拿得起、放得下，毫不戀棧權利。
他也了解黃明遠的性格，對于黃明遠這種類似于撂挑子的風格雖然頭疼不已，但其實也很是高興。當皇帝的，最怕臣子戀棧權利，不舍得放手，像黃明遠這種自覺的臣子，哪個皇帝會不喜歡。
于是楊廣又時不時地邀請黃明遠進宮陪他。不過楊廣喜歡的，大多都是恢弘大氣、亭台樓閣、鶯歌燕舞、紙醉金迷的生活，黃明遠著實不能跟他玩到一起。就像兩人一起釣魚，四面八方圍得都是妃嬪、內侍、侍女、侍衛，是釣魚啊還是釣人啊。
黃明遠多次進宮的收獲就是家里又多了好幾個楊廣賜給他的女人。黃明遠不得不懷疑楊廣是為了減少宮里開支，變向辭人。
跟楊廣一起待了兩次，楊廣就不願和黃明遠一起玩了，無趣。看著黃明遠看個宮廷美女的歌舞都能睡著的樣子，楊廣是又氣又笑。在他看來，黃明遠就是個享不得福的人。
黃明遠倒是對于自己的出丑不以為意，歌舞倒是精彩，但在皇宮這個大籠子里，是人怎麼能舒服的了。
再往後，再有這種事楊廣也就不叫黃明遠了。
黃明遠也是直言，自己喜歡「誦明月之詩，歌窈窕之章」、「縱一葦之所如，凌萬頃之茫然。浩浩乎如馮虛御風，而不知其所止；飄飄乎如遺世獨立，羽化而登仙」的感覺，一個人悠然自得，達到忘我的境界，比什麼燈紅酒綠、紙醉金迷都舒服。
楊廣看得出，自己這個臣子真的是一個奇人，一個向往自然生活的人又怎麼可能貪戀權利呢？
黃明遠獨特的性格倒是讓他在楊廣的心中又重了幾分，信任也多了幾分。
黃明遠抽空也會教授兒子和幾個養子以及外甥張文（張方翼長子）等人功課。雖然劉仁軌、程名振、李商胡幾人都是青史留名之輩，那只能說明他們有天賦和運氣，但若是從小不悉心培養，再有天賦也無用。
黃明遠本就文武雙全，又通曉時事，見識廣博，不是那般腐儒，一味讀死書，因此幾個孩子在黃明遠的教導下，成長很快。
後來長孫無忌也是不時地來府上拜訪，便加入了他們的團體，跟著黃明遠求學。黃家的大門拒的都是不想見的官吏，至于長孫無忌這些小孩子有誰會注意呢？
長孫無忌的舅父高士廉因與斛斯政有交往，受到牽連，本來要流放嶺南，但因為黃明遠說情，並未被深究，只是被貶為長沙郡郡丞。但即使如此，舅舅的離京也使得長孫無忌母子失了母族的依靠。他年紀不大，但因為從小喪父，性格老成，擔心黃明遠看不起長孫家的沒落會悔婚，因此一有時間便往黃明遠府上跑，希望能夠得到黃明遠青睞，好重振門楣。
十五六歲的孩子，正是可塑性最好的年齡，黃明遠並不在乎長孫無忌的功利，只要他不做有違德行的事情。自己當年也是從懷著一份幼稚的功利心討好楊廣才出頭的，這個年齡段的年輕人能夠勇敢地承擔起自己的責任遠比莽撞與退縮要好的多。
長孫家畢竟是長子的岳家，黃明遠也想扶持對方一番，免得因為地位淪落而使長子難看。
黃明遠也不擔心長孫家日後的尾大不掉，長孫家在唐朝的迅速膨脹除了有長孫皇後和長孫無忌二人外，是基于其出身關隴世家，是關隴世家新的代表。而沒了關隴世家在後的推手，長孫家即使成了外戚也只是一個普通世家。
本著「一個也是養，兩個也是放」的原則，其他一些姻親子弟和黃明遠看得上的晚輩，有時候也會來府上受教，畢竟人才難得。
而這其中最特殊的人便是黃明遠唯一一個弟子李世民了。