不過楊廣的大業還沒開始，自河東便傳來一個驚天動地的消息。漢王楊諒以「清君側，誅楊素」為由，在並州起兵造反了。
先時楊堅在仁壽宮病重，楊諒得到消息後，幾次請求回京侍疾。當時楊堅也沒想到自己病情後來會加重，他由于擔心先是加封楊昭為皇太孫，再加上若讓楊諒回京，會過度的刺激楊廣，因此便拒絕了楊諒的請求。
但後來楊諒病重，再加上楊儼、柳述之亂，為了避免可能出現的動亂，楊廣便招楊諒還朝。
這時的楊諒接到令後，還很是欣喜，一路疾馳南下，欲返回長安。不過楊諒也在長安有後手，等到楊諒到達蒲阪，竟傳來楊堅病逝的消息。楊諒得信大驚，自覺若是就此返回長安怕是自身性命難保。因此在手下眾人的慫恿之下，楊諒急忙率部返回並州。
楊廣知道楊諒逃回並州的消息之後，只得哀嘆時運不濟，失去了解決河東問題的大好機會。因為中央政府沒有準備妥當，楊廣也不想過度刺激楊諒，因此佯裝不知，乃命屈突通持隋文帝的璽書去晉陽（今太原市西南）征漢王楊諒入朝，參加楊堅的葬禮。
父親死了，這次不管你有什麼理由，總該回京了吧。
此時楊諒已經知道了隋文帝臨終之前罷並州行台之事，又思慮自己與楊廣父子的關系不睦，他若是就此回京，恐性命不保。
這時謀士裴文安獻計可詐屈突通一番，看朝廷有無加害漢王之心。因此見到屈突通之後，楊諒乃說道︰「當日孤離京之時，曾與先帝有言，先帝曾說‘如果有璽書召你，驗看敕字加點，還與玉麟符相合，方可受命上路。’今日你持先帝詔書來並州，這詔書之中，為什麼沒有敕字加點？」
屈突通根本沒听說話此事，大吃一驚，也不知此事是真是假，只能閃爍其詞而不回答。楊諒乃怒斥屈突通朝廷作偽，天子死因必有蹊蹺，因此拒絕接受這份旨意。
眾人紛紛請求扣押屈突通，以對抗朝廷。楊諒知道屈突通雖然官職不高，但素來在朝中有賢名，無論處死還是扣押都沒有意義，反而惹人詬病。因此楊諒也沒有扣押他，而是將其放歸回朝。
楊諒拒不接受楊廣的詔書，算是和朝廷撕破了臉面。
事實上楊諒的謀反之舉，並不是他心血來潮、腦袋一熱的舉動，而是早有準備。他自知與二兄楊廣不和，因此在最初的時候，楊諒寄希望能夠如楊廣扳倒太子楊勇一般，合法繼位。
但是自楊昭北伐得勝，又被封皇太孫之後，楊諒知道自己這條路是走不通了。楊廣、楊昭父子二人實力強大，又如此得人心，哪怕楊廣死了，也是楊昭繼為儲君，根本輪不到他。
至此楊諒便準備實行武力奪權。仰仗手中強大的實力，哪怕不能成為天子，也要割據一方，不再受楊廣父子轄制。
楊諒作為楊堅和獨孤皇後最小的一個孩子，從小備受寵愛，其身為並州總管，所轄之地為崤山以東到滄海，南至黃河，五十二州，相當于天下的四分之一。楊堅又特許楊諒在封地可以便宜行事，可以不拘泥于法律條文。
這使得楊諒便成為大河以北事實上的統治者。古往今來，整個中國歷史上，都沒有權利、實力如此龐大的藩王。
楊諒敢造反不是他夜郎自大，而是他真的有這份實力。大河以北地區，自古以來便是天下精兵的聚集地，當初的晉國主霸春秋，劉秀建立東漢都是起于此地。而北周滅北齊之後，河北地區作為北齊的統治核心，素來對關中政府不服從，自尉遲迥在相州叛亂開始，這種對抗一直延續到唐朝滅亡。
而楊諒本人因為權利巨大，身邊圍攏了一大批對關中政府不滿的北齊遺老遺少，而這些龐大的政治資源和其掌握的中下層勢力使得楊諒可以調動足夠的力量與中央政府對抗。
而且楊諒擁兵數十萬，自以為自己進足以抗衡中央，退則可自保山東
自太子楊勇被廢，楊諒便心中警醒。再到蜀王楊秀獲罪，楊諒極為不安，「照這樣下去，下一塊砧板上的魚肉就非自己莫屬了。」
並州總管的設置，主要目的便是防御突厥。因此楊諒上書天子道︰「突厥正處于強盛時期，應該修整軍備。」
為了對抗中央政府，在仁壽年間，楊諒大規模地征發工匠役夫，修造武器，招集亡命之徒，身邊的私人門客將近數萬。後來突厥敗亡，他因為防御突厥征召的軍隊卻並沒有解散。
這些如果還只是實力的對比，而在政治和宣傳上，楊諒也開始為叛亂做準備。
此時並州正流傳著這麼一首民謠，「一張紙，兩張紙，客量小兒作天子。」這種民謠針對性太強，一般很少有人敢直接傳播。但就是這麼首毫無邏輯、毫無內含的民謠，卻是在並州廣為流傳。
當這首童謠傳到漢王楊諒的耳中時，它不知已在並州流傳了多久。
楊諒身邊的文武對此也議論紛紛，有人說它是一些心懷不軌之人想慫恿楊諒造反而刻意編造的；有人相信這是代表上天意志的讖語；更多人則表示對此毫不知情。至于真相如何，恐怕誰也說不清。
不過，漢王楊諒對此有自己獨到的解釋，他認為「孤幼字阿客，‘量’與‘諒’同音，而孤在皇家排行最小，此讖語合當該孤做皇帝」。楊諒對此童謠非常重視，並對照自己的名字進行了認真剖析，發現兩者出奇吻合。由此，他更堅定了自己當皇帝的決心。
也不怪楊諒迷信，讖語這種東西，大多數時候總能自圓其說，因此背受時人追捧。這時候三國時期「代漢者，當涂高也」和北齊的「阿那亡汝國」等故事正是民間津津樂道的事情，楊諒如何不會對此重視。
這種讖語解法無數，但楊諒卻是自認為找到了最合適的解法。
眼看萬事俱備，只欠東風，楊諒本人也自認為自己再無後路，因此楊諒找到自己的心月復咨議參軍王頍、兵曹參軍事裴文安等人秘密商議起兵之事。