然而整場戰役的情況遠遠沒有楊廣想得那樣順遂。
到了傍晚，段文振還是沒有到達匯合地，楊廣開始擔心起來。他就怕西進的段文振遇上潰逃的突厥大軍，到時候以段文振的力量很難擊敗對方龐大的兵力。
為了迅速找到段文振所部，楊廣命令黃明遠、趙才、獨孤惲三人各率一部騎兵向東北方向尋找段文振。當然若是同時也能找到突厥軍的主力就更好了。
黃明遠得令之後，立刻調集一千五百本部騎兵出營。考慮到磴口在溫池的正東北，若是段文振遇敵則會往南，所以黃明遠便往東方略偏北的方向而去。
這時候眾人還不知道的是，這時候的段文振早就陷入了大麻煩中。
當日，段文振領三萬精銳出靈州後，沿著黃河向北一路到達磴口。當時為了保證糧草的轉運，隋軍便在石咀山和磴口各設置了一個糧草基地。其中磴口糧站是楊廣為了北上追擊突厥人所設，囤積了約二十萬石糧草。雖然在黃河東岸，但有些過于突出靠前了。
為了繞道磴口，段文振所部位置過于向北。等到度過黃河後，段文振向西北而去。準備大迂回至狼山西南的突厥大軍的後方，再掉頭向南，直擊突厥軍背部。
可行了不到百里，段文振所部就遇到了一樣向磴口方向進軍的突厥大軍。原來早在大戰之前，步迦可汗就命令自己的佷子阿史那里都沿黃河進軍，奇襲靈州石咀山，斷絕隋軍的後路。
正巧雙方在納林湖西面三十里處相遇。本來雙方都是要繞道突襲對方的，沒想到撞個正著。這時候，雙方都措不及防，只得開戰。
隋軍和突厥人兵力相當，又沒有時間布置防御，只得壓住陣腳，穩守大陣，立刻就落在了下風。靠著隋軍的強弓硬弩與環形車陣，勉強可以抵擋得住突厥騎兵，但同時也限制住了隋軍的機動性。
段文振兩次組織突圍，但都被阿史那里都擋住。
為了迅速圍殲段文振所部，阿史那里都利用輕騎不斷地沖擊隋軍的兩翼，企圖消耗隋軍的士氣。約到了傍晚時分，雙方激戰近四個時辰，突厥軍見久攻不下，遂撤圍而走。
段文振見突厥軍北撤，不敢久留，一面繼續監視對方，一面立即提所部向西南方向，準備避其鋒芒。
沒想到所行不過五六十里，正欲突厥軍主力。
原來阿史那里都見隋軍久攻不下，怕暴露了自己偷襲的目的，遂決定詐作退兵，引段文振突圍。但段文振也不是等閑之輩，他一定會嚴密監視阿史那里都的部隊。若是突厥軍企圖在半路圍殲這股隋軍，很可能又跟之前一樣，咬上一個刺蝟殼。
因為之前步迦可汗在兩側五十里左右的地方各布置了一支部隊，好方便撤退。阿史那里都便秘密招其將阿里扎，準備使其提前在隋軍突圍路線上埋伏。自己則撤退一段距離後便尾隨隋軍，雙方前後夾擊。
急于月兌身的段文振果然中計，剛月兌離了險境，就一頭扎入了突厥軍的埋伏之中。
段文振畢竟是老將，一看對面出現近萬騎兵，就知有警。這時又听斥候報後方突厥軍隊追來。
為了不被突厥軍合圍，段文振當機立斷，即令其弟段文操率敢死隊，挺矛策馬，沖入阿里扎軍陣中。自己則揮中軍繼進，往來沖殺，企圖快速擊破阿里扎軍。
阿里扎也是突厥名將，雖然兵少，但知道阿史那里都正在趕來，便不與隋軍浪戰。只是緊守軍陣，隋軍但有轉移，便咬住不放。隋軍回身攻擊，阿里扎又不與其決戰。
雙方相持大半夜，段文振始終沒能甩開阿里扎。這時阿史那里都的大軍也已經趕到，和阿里扎一起從後方兩側對段文振的大軍發起猛烈攻擊。
段文振所部大戰了一天一夜，筋疲力竭，早就饑渴難耐，失了銳氣。這時又遭打擊，見突圍無望，軍心渙散，陷入崩潰。段文振這時候勉強維持大軍編制，也不敢再妄想安然撤退。只能率領能戰的騎兵加快速度，而落在後面的步兵則完全無能為力了。
碩大的殘兵陣勢阻擋了突厥軍的追擊，段文振也趁機率領著剩余的殘兵慌不擇路的狂奔。
阿里扎追擊了隋軍近一日，沿途斬殺隋軍不計其數。眼看離溫池已經不遠，又收到從步迦可汗處退兵的消息。阿里扎知道主力在溫池慘敗，對面隋軍的大部正等著自己，不敢再追，只得返回。
阿里扎的返回讓他躲過了一劫，因為這個時候黃明遠的搜尋隊伍離段文振所部只有一二十里路了。
僥幸逃得性命的段文振遇到黃明遠，這才算是平安。黃明遠率部在沿途收攏隋軍潰軍，總共也只得三四千人。
段文振的大敗令整個隋軍大吃一驚，猶如一盆涼水一樣潑到了眾人火熱的心頭。全軍三停折了兩停，回到溫池大營的段文振軍不到一萬三千人，還個個帶傷，軍械、物資幾乎全部丟失，靈州軍幾乎被打殘了，要想重建需要很長的時間。
對于整個戰況，段文振倒也沒有夸大其詞。然而這種結果更令眾人難以置信，沒人會想到隋軍與突厥人在兵力相差無幾的情況下，還慘敗至斯。
第一次有事情為這次大戰蒙上了陰影，終于有人開始考慮突厥人的戰力到底如何。
因為段文振是楊堅的愛將，更是楊堅重用之人。楊廣沒有直接將其問罪，而是將段文振撤職，然後令其在軍中戴罪立功，算是給了段文振一個東山再起的機會。
這時候，因為突厥人的情況又出現了反復，元壽等人又勸楊廣率軍撤回靈州，等待突厥人消息，再做打算。
但隋軍一勝一敗，雖然打得步迦可汗很狼狽，但其實隋軍也沒佔到便宜。楊廣自問這樣的結果是沒辦法回去和楊堅交代的。所以他堅持不撤軍，決定要繼續向前，搜尋突厥人的主力，一舉擊破對方。
楊廣認為段文振的失敗主要是在戰斗中，隋軍沒有展開陣型，龐大的步軍反而成了累贅。而自己軍中騎兵充足，向北穩穩前進，根本不懼突厥人的突襲，也不會無法發揮步軍的優勢，因此楊廣仍然對自己是信心十足。