與裴矩分別之後，黃明遠立刻返回自己的居所。仁壽宮之中因為考慮會有隨駕大臣，特意隔出來一批外院以備朝臣使用。
黃明遠雖非宰相，但身為上柱國、國公，也是大隋排的上號的人物，因此也有一座屬于自己的小院。院中住了黃明遠並雄闊海等二十余人，黃明遠為求密閉，盡遣其中侍者，而由紅拂女負責黃明遠等人的起居。
這一次楊廣前來仁壽宮，將自己的保衛工作全部交給黃明遠，其所帶的二百名侍衛也由黃明遠全權指揮。
不過這仍不夠。
天子的護衛，一般由左、右領左右府負責，每府置大將軍一人，將軍二人，領千牛備身、備身左右各十二人，備身六十人，其基本職能是「掌侍衛左右，供御兵帳」，在禁衛武官制度中處于關鍵地位。而楊堅後來又在開皇十九年，析出一部分設置左、右備身府，作為其御前護衛。其中左右衛府下設內軍，分別為為左、右親﹑勛﹑翊三衛共六軍。不過內軍雖然名義上也是天子護衛，但是其主要目的是為了安置大批的功臣後人，有些類似于清朝的一等侍衛、二等侍衛一樣，品級雖高，但多為虛職，並不實際承擔天子的護衛作用。
自太子之亂之後，楊堅有感于身邊護衛的不足，將左、右備身府擴充為數千人的軍隊，更將負責天子護衛的備身將軍增設為四人，以確保天子身邊有足夠的護衛力量。
此時的備身將軍分別是崔彭、楊安、田元三人，尚有一人空缺。此三人中皆是楊堅的心月復，對其忠心無二。
除此之外，仁壽宮還有隨同禁軍衛士上萬人之多，分屬十二衛府。每一府有近千人之多。
黃明遠之前算計，若是柳述真的要發動宮變，至少要有足夠的兵力在手，最有可能的，便是這備身府和十二衛府禁軍之中的某一部或幾部。黃明遠所屬的左武衛府作為十二衛府之一，在此也有上千人的禁衛。
不過黃明遠沒有直接接觸這一部禁軍。此部是在黃明遠返回長安之前來到仁壽宮的，而且在御前輪值的禁軍並不歸原單位管轄，黃明遠若是過于在意這支軍隊，反而會引人注目。
黃明遠回到院中，早就有紅拂打了一盆涼水，給黃明遠去去暑氣。雖然仁壽宮清涼，但正值酷熱的六七月間，黃明遠還是出了一身汗。
用過晚飯，黃明遠便一直在等天黑，到了二更時分，黃明遠換了一身黑色斗篷，偷偷前往左武衛府的軍營。
此時夜深人靜，黃明遠一人潛行于暗夜之中，秘密相見其部左武衛統帥左二車騎將軍堯君素。
堯君素是楊廣侍衛出身，後來被放到左武衛擔任車騎將軍，正巧這一次跟隨楊堅前來仁壽宮，算是給黃明遠增添了一支信得過的部隊。
堯君素為人忠誠，又與楊廣關系親近，這個關鍵階段，黃明遠能信任的人不多，但堯君素絕對是其中一個。
堯君素也沒料到黃明遠會秘密潛入其軍營，吃了一驚。不過他明白黃明遠此時冒著這麼大的風險前來見他，事必有異，因此馬上命心月復守住房門四周，一個人引黃明遠入內。
「見過遠郎君，遠郎君何來于此？」
黃明遠當年在揚州的時候，堯君素便稱呼黃明遠為遠郎君，這麼多年，一直未變，甚是親切。
二人多時不見，黃明遠親切地拍著堯君素的肩膀說道︰「多是不見純仁，甚是想念。」
「遠郎君，可是儲君有令？」
黃明遠乃說道︰「純仁，實不相瞞，今日我冒險來你處，便是奉儲君之命來問你一聲？堯君素現在，還是儲君之心月復嗎？」
堯君素大驚，立刻跪在地上說道︰「堯君素忠于儲君之心，天地共踐，日月可表。」
黃明遠又問道︰「那有一事可能要純仁為了儲君賠上性命，純仁可是願意。」
「為了儲君，堯君素願生死相隨，雖死無憾。」
「好！」
黃明遠乃將堯君素扶了起來說道︰「純仁真乃忠臣也，有純仁在，儲君無憂矣。」
堯君素乃說道︰「遠郎君，儲君但有任何差遣，但請遠郎君安排，堯君素必赴湯蹈火，在所不辭。」
黃明遠乃說道︰「純仁可知，今日儲君和太孫殿下前來仁壽宮，是冒著巨大風險來的。仁壽宮中出了奸佞，有人想趁著天子病重之際，挾持天子，暗害儲君和太孫，以達到不可告人的目的。」
堯君素听了大驚失色，難以置信。
「遠郎君，這‧‧‧‧‧‧」
黃明遠繼續說道︰「現在儲君和太孫殿下情況危險，需要純仁護衛。純仁可願擔下儲君和太孫殿下的安危，挫敗奸人的陰謀。」
堯君素立刻說道︰「遠郎君放心，堯君素就是死一萬次，也不會讓儲君和太孫殿下受一點傷害。我這就點起兵馬，前去護衛儲君和太孫殿下。」
「純仁勿急！」
黃明遠止住堯君素，要保護楊廣父子很重要，但不是現在。
「純仁，此時我等雖然知曉奸人計謀，此時這是在天子行宮，不能擅自動兵，以防出現亂子，所以我們只得等對方先動手。不過純仁要令麾下兵馬做好準備，時刻等待我的命令。同時純仁要利用守備仁壽宮行動方便的優勢，嚴密監視各府軍動向，同時盯緊各處城門，嚴防有人進入宮中。」
堯君素立刻听令。他絲毫沒有懷疑黃明遠話語的真實性，在他看來，無論誰背叛了楊廣，黃明遠都不會背叛。
雖然在黃明遠眼中，堯君素、張須陀這些人將來都是以死報君的忠臣，值得信任。但在別人看來，黃明遠又如何不是真正的楊廣爪牙，忠義之人。
黃明遠乃與堯君素商定了暗語，今後雙方聯系，憑借暗語行事。
黃明遠又將一封書信交給堯君素，讓其想辦法將此書信趁機交給楊素之子右領軍府車騎將軍楊萬項。楊素與柳述仇怨極深，絕不可能倒向其他人，真到了關鍵時刻，楊萬項所部上千人也是一股重要力量。
手底下有了一支可靠的力量，黃明遠焦慮的心態總算有些緩解。