最後終究還是樊子蓋被張方翼說服了。
張方翼認為朝廷的各路援軍都在路上，用不了多久便會趕到洛陽城周圍，到時候楊玄感必敗無疑。沒有必要孤注一擲，置洛陽城于陷阱。
樊子蓋遂決定堅守，他命左翊衛將軍段達率軍守衛北門，張方翼率軍守衛南門，而右侯衛將軍馮孝慈率軍守衛西門，樊子蓋自引兵鎮守東門。樊子蓋雖然是文官出身，但是曾以儀同身份統領鄉兵，又擔任過循州總管，長期鎮守嶺南，多赴戎機，因此也很擅長統兵。
樊子蓋信不過朝中諸人，因此能用的人並不多。三將之中，段達是天子潛邸時的親信，馮孝慈是楊廣屢屢超擢的將領，張方翼是黃明遠的親姊夫，勉強可用。
此時城外的楊玄感屢屢勸降城中，雖城中有不少人與之私通，但他仍舊無法和平破城。眼看時間緊迫，他因此決定進行強攻。
楊玄感為了掃清洛陽城外圍，便分兵五千人佔據慈硐道（在今河南洛陽西），又命五千人把守伊闕道（在今河南洛陽南），派開國元勛韓擒虎之子韓世諤率三千人包圍滎陽（在今河南滎陽東北），大將顧覺率五千人攻取虎牢（在今河南滎陽西北汜水鎮西）。
韓擒虎早死，韓世諤繼承爵位，後擔任涼州總管。不過楊廣討厭他，因此免了他的職務。大業三年之後，韓世諤連父親傳下來的壽光縣公的爵位也丟了，這一次跟隨楊玄感造反，正是為了復仇。
連韓世諤這種大隋的官二代都紛紛投奔楊玄感，可見楊廣有多麼不得人心了。
楊玄感又命其弟楊玄挺繼續圍攻金墉城，命其弟楊積善率領攻打北門，大將王伯仲率軍攻打南門，大將趙懷義攻打西門，而自引兵攻打東門。
楊玄感雖然人多勢眾，但軍中三教九流，老老少少，各種人都有。整個大營之中，烏壓壓一片，跟菜市場一樣，哪里能夠打仗。而這些人又都是主動投奔，楊玄感還不能對其苛刻了。
忍了這些人幾日，楊玄感實在忍不了了。這是軍隊，要死人的，不是過家家。楊玄感便命人從眾人之中挑選精壯，組建軍隊，得軍五萬。
有了這五萬兵力，楊玄感實力大增，終于可是發動攻擊。
以前的時候，楊玄感也不覺得洛陽城有什麼好的，趕緊跟大興城比差的遠了，可是到了今日，是他要攻打這座城池，楊玄感才發現，這城池真高峻啊。
洛陽外圍城牆不是磚土或者是夯土，而是真正的條石。黃明遠從濟北郡、弘農郡等地開鑿了無數的巨石，然後通過黃河運到洛陽，再利用塔吊將這些條石一塊一塊壘成城牆。條石之間也有上好的黃泥封的死死的，堅不可摧。這種城池，除了後世的混凝土，也沒有可比的了。而是使用壽命極長，即使以後洛陽城內被焚毀了，也不會影響到外城牆。
以往這種大城的設計是文臣和工匠，雖然壯觀大氣，但有時候防御功能並不突出。而洛陽城的設計卻是黃明遠。黃明遠很清楚隋末洛陽城數次大戰，為了軍事防御，更是將洛陽城牆外側設計成斜面，並在城池四角各建設處圓形碉堡。而且為了加強城門處的防御，還設置了兩側甕城以及藏兵洞，這些都大大增加了攻打洛陽城的難度。
城中本有軍隊、衙役等五萬余人，樊子蓋又命人招募城中精壯守城。洛陽城內有人口近百萬，樊子蓋得兵數萬，全都布置到城牆之上。
此時楊玄感在城池之下望著城頭上的隋軍，密密麻麻，一個接一個，根本望不到頭。他心中驚懼城內守軍竟然有如此之多。
隋軍在城頭上對叛軍不斷謾罵、挑釁，反倒是士氣漲了上來。
而楊玄感此時空有勢，但奈何手中軍隊實力實在不足。最重要的是他根本就沒有攻城器具，也沒有足夠的工匠。雖然投奔楊玄感的一些世家給他提供了不少工匠，但能夠打造攻城器械的工匠都是戰略資源，不是那麼容易得到的。
打造了一批攻城梯子等簡易的器具，楊玄感開始攻城。他此時所能夠依靠的，只有麾下士兵的血勇之氣。
但樊子蓋不是傻子。
樊子蓋集中了城中大量的滾木礌石，又命人取糞便燒制金湯。等到叛軍開始攻城，大量的滾木礌石往城下砸去。叛軍根本沒有井欄、雲梯，無法壓制隋軍的攻擊。
至于熱騰騰的金湯，一盆一盆的往下傾倒。攻城的士兵每每被金湯澆中，身上被燙破，然後因為感染身體發膿瘡，用不了幾日便會身死。無數倍燙傷的士兵在城池底下哀嚎不已，深深地震驚著攻城士兵的心。
樊子蓋為了訓練軍隊青壯，采取軍隊和青壯相雜，然後輪換守城。戰場雖然慘烈，但這些士兵卻因為能夠壓制攻城一方，因此傷亡不多。眾人各司其職，各個協同合作，戰斗力立刻得到了極大地提升。
「兄長，不能再這麼打下去。」
楊積善負責攻打北門，今日共發起了五輪攻擊，傷亡一千五百多人。照這種傷亡率，大不了十天他就得全軍覆沒。
「兄長，咱們沒有攻城器械，這樣傷亡太大了。」
楊玄感何嘗不知，但是攻城器械也是說有就有的。
這時李密便上前進言道︰「楚公，洛陽城急切難下，而隋軍援兵又將至，不若放棄洛陽城，取道函谷關西進關中，方是穩妥。」
李密還是沒有放棄勸楊玄感西進的計劃，他覺得繼續攻擊洛陽沒有任何意義。就是攻破了洛陽，難道還能抵抗隨之而來的援兵嗎？
「不要說了！明日再搜尋一下工匠，繼續打造攻城器械。」
楊玄感這些日子都被李密給說煩了，關中，關中，難道我不想去關中。要真能去關中，你以為我會來攻擊洛陽嗎？
楊玄感滿是無奈，他終于理解父親不讓他率先反隋的道路，可是已經晚了。
而李密眼看楊玄感楊玄感並不采納自己的意見，心中更是無奈，明珠暗投，最是奈何啊！