楊廣一行終于在突厥人的包圍圈合攏之前，進入了長城。
雖然始畢可汗親自率領大軍前來圍追堵截楊廣，但楊廣逃跑的速度實在太快了。過了逃命，楊廣一行幾乎丟掉了全部的物資，就連楊廣本人也拋棄了他心愛的六和城。
隋軍幾乎是馬不停蹄，拼命趕路，光是馬匹都不知道跑死了多少。至于沿途掉隊的宮女、內侍，甚至是官吏、眷屬，更是不知道有多少。
不過楊廣的好運也就到此為止了。
楊廣一行剛進入恆安鎮，突厥的軍隊也尾隨而至。一日三驚的楊廣匆匆留下雁門郡太守呂玉鎮守恆安鎮，阻擋追兵，便繼續向南。
沿途楊廣又先後在白狼塞（今山西省朔州市山陰縣東北）、桑干鎮（今山西省山陰縣南）、樓煩關（今今山西省寧武縣東北陽方口）等地留兵駐守，只為了遲滯突厥人進兵的速度。
不過並沒有如楊廣所願。
呂玉雖然是個驍將，但手上並沒有太多的兵力。
而且始畢可汗早就有心攻打恆安鎮，遂在恆安鎮預設了大批的內應。等到突厥人大舉攻擊，城中的內應便在城中制造混亂，同時攻擊守城的隋軍。
在內憂外患之下，很快城門告破。突厥人大舉入關，呂玉不得已率軍突圍。
全軍且戰且退，突厥人窮追不舍，等到呂玉撤退到雲內縣（今山西省大同市）西南，為突厥軍追上。呂玉力戰而死，全軍覆沒。
始畢可汗乃以大將阿史那思摩為先鋒，繼續向南進擊。楊廣逃回雁門郡有些出了始畢可汗的預料，接下來容不得他們再出錯。
阿史那思摩令突厥士兵換成隋軍的俘虜，並和投降的隋軍俘虜混在一起，假裝恆安鎮的潰兵，向白狼塞涌去。
白狼塞守軍沒有防備，只以為是掉隊的隋軍，遂打開城門，迎潰兵進城。
這些突厥人入城後暴起發難，佔據城門，白狼塞遂下。
阿史那思摩主力繼續向南，在桑干鎮北遇到了朔州總管王仁恭統帥的朔州軍。王仁恭也是個名將，能征善戰，在一征高句麗時立得大功。但自黃明遠北伐突厥之後，北疆之地，兵備廢弛，兵員流失，原本的北地重鎮朔州現在只有一萬五千余人。
雙方猝然相遇，隋軍實力不足，王仁恭不敵，遂率部退回馬邑郡治善陽縣（今山西省朔州市），而桑干鎮則被阿史那思摩趁勢所取。
至此突厥人的前鋒主力一路追著楊廣鑾駕打，打穿了整個代州、朔州的防線。
等到楊廣一眾撤入雁門郡治雁門城（今山西省代縣），阿史那思摩也率軍從小道繞過隋軍在西徑關一線的正面防御，出現在夏屋山（又名夏壺山、賈屋山、賈母山，在今山西省代縣東北草垛山）的背後。
六月十二日，阿史那思摩在楊廣逃入雁門城的第二日率軍包圍雁門城，楊廣和整個大隋朝廷落入到突厥人的重重包圍之中。
而于此同時，皇太孫楊佶率領後軍進入崞縣（今山西省原平市崞陽鎮）。
面對突厥人的包圍，隋軍上下驚懼恐怖。宇文述此時為武將之首，負責指揮諸軍。他下令拆毀民房，用作守衛城池的材料，導致突厥人還未發起攻擊，人心已亂。
而且最重要的問題是，整個雁門城突然涌入大批的人畜，使得本就不大的城池變得異常狹窄，各種儲備物資也不足。此時整個雁門城中有軍、民十五萬人，糧食僅夠供應二十天。
從在長城之外發現突厥人，楊廣準備率軍返回，他便第一時間想到了黃明遠，並派人五百里加急趕往遼東，征調黃明遠前來代北救駕。但從代北到遼東，一來一回四千里地，根本是遠水解不了近渴。
楊廣進關之前，也只是通知朔州總管王仁恭和代州總管範安貴二人接應，卻並未來得及往太原派遣援兵。
此時王仁恭兵敗返回善陽，而範安貴則和楊廣一同被圍困在雁門城中。整個大隋朝廷失去了與外界的聯系。
突厥人來的很快，始畢可汗听聞阿史那思摩將大隋天子楊廣包圍在雁門城，立刻驅兵數萬趕來。他又聯絡同羅部，讓同羅斜也從雁門東北面方向進擊，雙方一左一右，在雁門城下會師。
此時北地武備廢弛的壞處體現出來了，整個總管府不過是一萬多人，各城不過是幾十到幾百人，因此整個馬邑、雁門二郡四十多處關卡、城池，盡為胡人所破。只有雁門、崞縣、善陽等幾處要地控制在隋軍手中。
六月十五日，始畢可汗終于從北面趕來，率領主力部隊到達城下。十多萬軍隊將整個雁門城圍的水泄不通。站在城頭往外瞭望，盡是人山人海。
從十二日到十五日，整整三日的時間，阿史那思摩手中不過只有萬余騎兵，實力並不強。而在這三日，隋軍為阿史那思摩偽裝的大股主力所驚嚇住，不敢輕易突圍，最終喪失了絕佳的突圍時機。
等到突厥主力趕到，將雁門圍的嚴絲合縫，城中的隋軍根本沒有一丁點突圍的機會了。
始畢可汗到達城外，望著城頭上驚慌失措的隋軍。十多年了，他終于將隋軍踩著腳下，這種感覺，別提多舒服。
楊廣雖然被包圍，但城中尚有數萬軍隊。始畢可汗擔心夜長夢多，便下令軍隊當日便進行攻城。
突厥騎兵沒有足夠的攻城武器，但是他們卻有攻城的妙法。
大隊的突厥騎兵沖殺到城門前，然後向城頭拋射羽箭。胡虜擅長騎射，大批的箭矢射入城中，整個城頭箭如雨下。
楊廣本來帶著侍衛來到城頭，希望可以鼓舞士氣。
不過他雖然也曾領兵南滅陳國，北破突厥，但都是名義上的主帥，並不需要他操太多心。而且這幾年楊廣沉浸于酒色之中，當初的英雄氣概早就被酒色掏去了。
楊廣帶著人靠近城牆，而城下弓矢密不透風。
此時突厥人的羽箭射到楊廣的面前，嚇了楊廣一跳。若非親衛護住楊廣，楊廣幾乎要被射死。
自此之後，楊廣再不敢登上城頭。
面對這困守孤城的局面，楊廣脆弱的心理防線幾乎崩潰，他只得抱著小兒子趙王楊杲哭泣，眼楮都哭腫了。