李元吉失了眉州兵權，灰 地返回了成都。這對于野心勃勃的李元吉是一個重大的打擊，因為這不是簡單的被奪權的事，而是意味著李淵對李元吉能力的不信任。在這緊要關頭，被貼上一個能力不足的標簽，想再獲得軍權，就很困難了。
李元吉也意識到這一點，如一只暴怒的獅子一般，將整個軍帳砸了一個稀巴爛，以發泄怒氣，可木已成舟，即使他再歇斯底里，亦沒法改變此事。
返回眉州的李元吉，憤憤不平。
可李淵現在對于巴蜀的內亂焦頭爛額，恨不得全部的精力都用在平亂上，可沒有精力在意李元吉的心情。也就是李建成勸了李元吉兩句，承諾過段時間會向李淵舉薦，幫著李元吉重新領軍。
但福無雙至，禍不單行。
李元吉回到成都沒兩日，李世民在眉州大破獠人的消息便傳來。
現在的李世民有多次兵敗的經歷，因此在李唐內部，也只能算一個有能力之人，並未被神化。所以對于李世民迅速平亂，大家的想法不是李世民能打，而是眉州獠人太弱。
獠人未開化，中原王朝亦從未將其放在眼中。
所以李世民迅速平亂和之前李元吉連戰不勝立刻形成了一個鮮明的對比，在所有人看來，李元吉就是能力不夠，才未能平亂。
再加上李元吉風評本就不好，當初丟了太原，就是因為李元吉的臨陣月兌逃。
所以很快眾人便形成了一個統一的意見，李元吉空有一副壞脾氣，實則無能的很。
此評越來越廣，連李淵和李建成都懷疑，這李元吉是不是真的沒多少腦子，根本不會領軍。
面對這個說法，李元吉恨不得殺人以泄憤。他自問勇武過人，天賦卓絕，雖古之名將亦不可比。雖然有敗，但也只是時運不濟而已。
至于李世民，敗仗不比他大嗎？憑什麼還能被父親委以重任。
李元吉甚至想告訴每個人自己的本事，讓他們知道自己的能耐，可惜只能想想而已。表面上，大家對他還是客客氣氣的，讓李元吉有氣無處撒。
李元吉三番五次地去找李建成，請求李建成幫他再次領兵，可李建成也不太敢再用他，只得委婉拒絕。
連李建成都不信任他，這讓李元吉很受傷。
因為全身精力無處發泄，李元吉只得整日打獵游玩。李元吉愛好打獵，號稱「寧可三天不吃東西，不能一天不打獵」。當初跟宇文歆的矛盾，就是因為打獵而爆發的。可惜李元吉丟了太原，也沒能改掉這個惡習。
原本還有李淵、李建成約束他，可現在所有人的目光都在平亂上，李元吉如月兌韁的野馬一般，四處游獵，踐踏農田莊稼，公開掠奪百姓財物，簡直如土匪一般。
可惜沒人敢管，即使有人彈劾，也被裴寂給壓下，美其名曰「勿使唐王分神。」
李元吉更瘋狂了，西到灌縣，北到綿竹，到處都有他肆虐的身影。
這天李元吉來到青城山打獵，中午歇息的時候，便遇到了學道的李密。
李密自當初邙山兵敗之後，帶著殘部入蜀投奔了李淵。李密歸唐，李淵大喜，拜李密為光祿卿，封邢國公，還將表妹獨孤氏嫁給了李密，稱呼李密為弟。
可惜對于李淵來說，李密是頭 虎，可以用他千金買馬骨，收服人心，但真若是對其委以重任，那是不行的。
于是李淵將李密舊部等人一一調出，分化瓦解，使得李密空有光祿卿的高位，卻無一點實權。
光祿卿在秦漢之時屬于御林軍總管，但到了大隋，專司皇室膳食，轄太官、肴藏、良醞、掌醢四署，也就是個天子司務長了。
油水或許不少，但權利是真沒有。
這對于野心勃勃的李密來說，如何能接受。
于是心有不甘的李密便準備以返回中原招撫舊部的名義叛逃。
可惜李密還沒準備行動，便有舊部示警，言「李淵正嚴密監視，若其一旦有異動，立刻處置。」
這把李密嚇得，倒是再不敢逃了。
從成都出蜀，各處險關要地，李淵要是不允他離開，李密飛也出不去。
此事之後，李密眼看李淵對其不放心，為了打消其戒備，便放飛自我，不理政事，亦不和舊部接觸，整日里以學道求仙的名義，四處尋訪道觀。而作為道家名山的青城山，李密更是隔三差五的來，一來就是半個多月，都快把青城山當作自己家了。
李淵剛開始當然不相信李密是真的尋道，于是天天派人緊盯著他。但之後李密果然像是一個政治的失意者一般，不再過問政事，一門心思做起了道士。不管是日常監視還是李淵發起的試探，皆沒有發現異常。
時間一長，李淵也就不太注意李密了。
畢竟李淵事多，哪能天天盯著李密一個人。
李密不愧是一個頂級的智者，他雖然不斷地尋仙求道，但亦沒有放下心中的理想抱負。而且在不斷的求道過程中，讓他在瓦崗產生的燥心漸漸消解，他的心性也變得更加的穩健和堅毅。
隨著黃明遠在中原的屢戰屢捷， 李密也不想著再重返中原。
以他的力量，回去也沒有容身之地。
于是李密再次打起了鳩佔鵲巢的主意，李淵年級大了，時日無多，只要他掌握了李唐的權利，再憑借巴蜀天線，以他的能力，必然能擋住明軍。
不過李淵老辣，定不會給李密這個機會。
李建成、李世民也是一代英杰，不會讓他架空，于是李密便將目標放在了文不成、武亦不成的李元吉身上。
在李密看來，李元吉除了有點蠻力，一無是處，以其為主，簡直是對自己的侮辱。可越是如此，李元吉越容易被他控制。
于是李密便故意制造一些機會和李元吉相遇，還投其所好，獲取對方的好感。時間一長，李元吉還真記住了李密，且對其印象不錯。
今日青城山再見，李元吉便客氣地邀請了李密兩句，本來只是隨口說說，可沒想到的是，李密竟然真的來了。