楊玄感在龍潭峽谷圍困了衛玄數日，一天之內雙方交鋒十余次，卻始終不能將其殲滅。而兩軍交戰，雙方肉搏，楊玄感之弟楊玄挺被流箭射死，其部士氣大降。
楊玄挺是楊玄感麾下第一大將，之前單獨統兵出河內，下孟津，多立戰功。此時陣亡于此地，實在令三軍皆驚。
楊玄感更是抱著弟弟的尸體大哭。
然福無雙至，禍不單行，而正在此時，有消息傳來，左武候將軍屈突通已經從北面趕到河內，屯兵河陽城，楊玄感大驚。
眼看龍潭峽谷始終不下，楊玄感又擔憂洛陽城的局勢，因此便留兵一部交給大將王伯仲，令其繼續圍困，而自率主力趕回洛陽。
返回洛陽城後，李子雄和樊子蓋仍舊是相持的局面，楊玄感這才松了一口氣。
這時李子雄眼看軍心已亂，便建議楊玄感直接稱帝。
「楚公，而今局勢，人心已亂，原本已經積聚的人心也開始潰散，若等到隋軍援軍到來，我軍必然大潰。不若立刻稱帝，積聚人心，方能憑借此大勢破敵。」
楊玄感卻是有些猶豫。這不是楊玄感的最初計劃，他雖然膽壯，但也知道，貿然稱帝，人心難測，所以一直準備攻破洛陽，扶植小兒為帝，他做曹操、楊堅。現在稱帝，不是自己打自己的臉皮。
楊玄感沒有立刻答應，又招來了心月復韋福嗣。
韋福嗣原為內史舍人，上庸郡公韋世康之子。其雖達奚善意從軍抵抗楊玄感，被楊玄感俘獲。楊玄感對他優禮相待，讓他和自己的親信胡師耽共同掌管公文信札。
楊玄感詢問韋福嗣自己是否應該稱帝，韋福嗣便說道︰「稱帝便可立刻提升我軍人心，但也會使得天下人不信服，故利弊各有。楚公不如遍詢諸將，以為參考，方可決定。」
說了半天，什麼也沒有說。
楊玄感沒有辦法，最後又詢問李密。
自從韋福嗣負責掌管公文信札，李子雄又搶了李密軍師的位置，李密在楊玄感軍中的存在感便越來越薄弱了。
沒有辦法，他孑然一身，實在比不得韋福嗣和李子雄二人。
現在楊玄感的麾下文人之中，已經分為四撥，第一撥是以胡師耽為首的楊玄感幕僚一派，多是楊玄感養的文士；一派以李子雄為首，這些人都是投奔他的楊素舊部；一派以韋福嗣為首，這些人都是被動投降的朝廷官吏；最後一派是李密，他孤身一人投奔楊玄感，沒有什麼黨羽。
「今日李老將軍勸我稱帝，法主有什麼意見？」
李密听了大驚，連忙說道︰「楚公萬萬不可啊。」
雖然李密是表達自己的意見，但在楊玄感耳中卻是有些刺耳，怎麼就不可了，自己難道做不得天子。
不過楊玄感仍是耐著性子，听李密說完。
李密乃說道︰「楚公明鑒，昔陳勝自欲稱王，張耳諫而被外；魏武將求九錫，荀止而見誅。今者密欲正言，還恐追蹤二子；阿諛順意，又非密之本圖。何者？公自兵起以來，雖復頻捷，屢戰屢勝，然至于郡縣，卻未有從者，蓋因天子雖不肖，然天下之人心尚思大隋，並未散盡。當前東都守御尚強，天下救兵益至，洛陽已成危機之地，不可久留，公當挺身力戰，早定關中，乃亟欲自尊，何示人不廣也！
楊玄感听後笑了笑，卻不再提稱帝之事，卻是不知道是不是真的被李密勸住了。
這時李密又說道︰「楚公，韋福嗣之人，原非同盟，實懷觀望，每每畫策，皆持兩端不可輕信。」
楊玄感說道︰「法主放心，我以真心待人，人必以真心待我。」
李密有些焦急，忙說道︰「楚公，韋福嗣不可信也。明公初起大事而奸人在側，听其是非，將來必為所誤，李密請公斬韋福嗣，以正視听！」
楊玄感有些不悅地說道︰「何至于此！」卻是不願再听李密進言，而讓李密退下。
楊玄感知曉李子雄、胡師耽、韋福嗣、李密等人之間的齷齪爭斗，但他並不以為意。而且楊玄感有時候故意使幾人爭斗，來平衡各方之間的關系。但今日李密卻是要楊玄感誅殺韋福嗣，卻是讓楊玄感感覺李密逾越了底線。
眾人之間爭斗可以，但不能誤事。
楊玄感雖然听從了李密的建議，不再提稱帝之事，但是對李密卻越發冷淡，覺得李密無容人之量。
李密退下來之後，對身邊的人說道︰「楚公為人好反而不欲勝，我們怕是都要成為隋軍的俘虜了！」
楊玄感听到之後更加憤怒，雖然沒有處置李密，但二人之間再沒有當初剛造反之初的親密了。
但李密此時由不知。
眼看局勢有些僵持，北面的屈突通又在河陽頻頻發動攻勢，楊玄感有些支撐不住。他手下的烏合之眾本就沒有太強的戰斗力，來得快散的也快，眼看局勢越來越掙扎，不少心思活躍的人已經悄悄開溜了。
這時李子雄建議道︰「屈突通這個人精通軍事，且其部乃是正軌禁軍，戰斗力精良，一旦讓其部渡過河來，那就勝負難分了，我們不如分兵抗擊。屈突通不能渡河，那麼樊子蓋、衛文升就會失去援助。」
這時李密站起來大聲說道︰「老將軍此言不妥，我軍本就人少，若是再行分兵，怕是會被對方各個擊破。此時最好的選擇便是放棄圍攻洛陽，向西進擊關中。」
李子雄听到李密竟敢敢質疑他，立刻便怒了，對著李密怒斥道︰「你這小兒，經過幾次戰陣，老夫戎馬生涯數十載，你難道比老夫還更懂兵法？」
「老將軍，行軍打仗靠得也不是年齡！」
「你放肆！」
這時韋福嗣也站出來說道︰「李密，你再是自詡天下無雙，也沒得看不起李老將軍吧，李老將軍南征北戰這麼多年，看你把李老將軍氣得。」
「我！」
此時眾人皆上前，七嘴八舌地斥責李密，李密這才發現既然無人為自己說話。
大帳之中一地雞毛，雖然李密極力勸諫，最後楊玄感還是選擇分兵據守，再戰洛陽。看著越來越崩壞的時局，李密心中陷入了深深地絕望。