黃明遠在豐州的事情自不提，當日撤軍東進的高在和黃明遠分別沒多久之後就收到從長安來的一封信。
這封信從漆黑的夜幕里送來，也將高的心籠罩在黑夜里。
帥帳內，高拿著這封信全身止不住的發抖，瞬間就像老了十余歲一樣，喃喃的說道︰「如何會這樣，難道聖人忘了當初的情誼了嗎？」
高用盡全身力氣支撐住右手，讓自己不至于倒下。
回想著二十多年前的往事，那時的自己和楊堅就像如魚得水一般，君臣相得，共創新朝。
當年自己時常坐在朝堂北邊的一棵槐樹下處理政務，宮內主事要砍掉它，楊堅特別指示不要砍，用它昭告後人二人的君臣之誼；自己的母親去世時自己要去職守喪，但僅僅才過了二十天，朝廷就命令自己返職處理政事，自己流著淚推辭，楊堅都下詔不予準許。怎麼就成了今天這個樣子？難道君臣相疑到要你死我活的地步了嗎？
信箋飄然落下。
隨他一同出征的兒子高表仁看到父親的樣子大吃一驚，又趕緊拿起地上的信箋，仔細一看卻是又驚又怒，大罵道︰「黃明遠，你個賊子，枉阿耶如此看重于你，你卻在這里挑撥離間，搬弄是非，指鹿為馬，真真是個無恥小人。」
高良久才緩了過來，馬上制止了兒子的咒罵。
「持行（高表仁字），你以為這證據真的是黃明遠偽造的。我還沒到老眼昏花的程度。這黃明遠雖然年輕，但卻達治知變，正而有謀，謹重嚴毅，氣度雄遠，必不會做出如此小人之事。若明遠真的如此做了，之前我二人見面之時，明遠就會告訴我了。」
高表仁一听其父為黃明遠解月兌，甚是不滿的說道︰「那黃明遠不過一介寒愴之徒，外寬而內狡，巧言令色，阿耶莫要為其偽行所欺瞞。此人之前面見父親時阿臾諂媚，背地里卻又彈劾父親，端是不為人子。」
高冷笑一聲，說道︰「你真以為這是黃明遠做的，有我寫給都藍的親筆書信，又有我的親近家人為證，你真以為黃明遠有這個能力和條件做到。高泰跟隨我多年，素來為我信重，依為心月復，他今一朝反水，便直指七寸啊。這顆棋子的培養沒個十年之功是不可能成功的。晉王殿下好手段啊，當年平陳的時候就算計到了今日啊。」
高表仁一驚，問道︰「阿耶是說這都是晉王做的。」
高答道︰「是，也不是。」
高表仁听得有些著急，問道︰「阿耶，那到底是還是不是啊？」
高瞪了他一眼，不滿地說道︰「我是在說聖人。」
看到兒子一臉不解的樣子，高滿是心中疲憊。
「罷了，罷了，終是債啊。」
高表仁听到父親的訓斥，一臉羞赧的樣子，立在高身旁，這才恍然大悟，吃驚地說道︰「阿耶是說‧‧‧‧‧‧阿耶是說這是聖人要動父親。」想到這的高表仁自己也忍不住內心哆嗦了一下。
又急忙問道︰「那阿耶，又該如何？」
高低頭思索了良久，才緩緩地探口氣來，終于下定決心，說道︰「我要回長安。」
「回長安？」
「對，回長安，我馬上自己單車赴長安。」
「可阿耶此時回長安，恐吉凶未卜，禍福難料啊。再說，阿耶在朔州，統帥十余萬大軍，就為了軍中安定，聖人也不敢做的太過分。但阿耶若是回了長安，連個門衛也未必能調動的了，那真的是自投羅網、任人宰割了。」
高恨鐵不成鋼的看著自己這個兒子，小聰明不少，卻沒有大智慧，罵道︰「愚蠢，如果我現在再不走，恐怕以後就永遠回不去了。你趕緊收拾行囊，通知高禮，我們連夜就走。」
高捻著胡須，又嘆了口氣說道︰「聖人未必相信我會謀反，他要的是我的相位和不要再對太子支持，如果我現在急流勇退，或許靠著過去二十年的情分，還能保住君臣之間最後一點相宜。可若是現在不走，就是你我父子沒有謀反，也會被聖人和晉王變成謀反的，你以為這大營中沒有人想用你我父子二人的腦袋升官加爵的嗎？」
高表仁不滿地說道︰「阿耶為相近二十年，安定天下，勞苦功高。今大隋國泰民安，四海升平皆賴阿耶之力。可他楊氏父子卻過河拆橋，肆意折辱功臣，屠殺貴冑，若是早知如此，當初又何必助他楊氏奪了宇文家的天下。」
「啪！」高一巴掌抽在還在大放厥詞的高表仁臉上。高表仁一臉吃驚的問道︰「父親這是作何？」
高指著高表仁惡狠狠地說道︰「聖人作為也是你可以置喙的，當日聖人做宰相的時候，尉遲迥控山東幾十州而反，聖人也是反手而滅，你以為你比尉遲迥還厲害嗎？若是你再敢為我高氏招致災禍，我就把你逐出家門。」
高表仁看到父親動怒，不敢再說話。
高目光深邃地說道︰「當初我剛做僕射的時侯，你的祖母告誡我說︰‘你富貴已到極點，只有一個東西沒有得到，那就是殺頭。你應該小心呀！’因此我時常懼怕禍亂，為此擔憂。現在聖人要免了我的職，我是一點遺憾都沒有了，這樣子可以免除我們全家的災禍了。」
高終究當夜沒有走成，在大軍重重護衛之中，高身為統帥，哪能這麼容易就走掉。
第二日一早，高將眾將招來帥帳，直言了自己當前的境遇。底下眾將或是惴惴不安，或是為高喊冤抱屈，更有甚者大罵朝堂上出了奸臣。可看到底下無數人眼底的那份躍躍欲試，高知道，如果今天自己在這里有什麼出格的言行，絕對會被這些人當場斬殺的。現在的天子積威深重，沒人可以對他說不，就是自己身為宰相也不可能撼動他的統治。
不顧其他眾人的阻攔，高將軍務交給隨他一同出征塞外的並州總管府長史宇文弼，自和其子高表仁當日便輕車簡從的返回長安。