隋軍既收降南陽郡，嚴孝武便命令徐世勣領一部攻打旁邊的淅陽郡。
淅陽郡地處秦嶺余脈，伏牛山南，地理位置極其重要。向西北經武關通關中，向西沿漢水可入關中，向東南經漢水入襄陽，向東經南陽盆地入河南。最重要的是他離著洛陽城只有不到五百里, 跟潼關到洛陽的距離差不多。
唐軍佔據此地，相當于對山南地區（唐朝的山南道，晉魏之時指商洛、南陽一帶，到了北周擴展到今陝豫二省南部、湖北與重慶大部及川東地區，為地域觀念和政治格局而來，非簡單的地理概念）伸出一把刀子, 可四面出擊。
實際上李唐對于山南之地的經略很早便開始。
當初李淵還沒入關中，便派遣李孝恭、陳演壽、馬元規等人南下山南，後來又任命李元吉為襄州道行台尚書令稷州刺史, 總攬山南之事，並佐以任瑰、李思行、薛獻、薛倩等人。
李淵給李元吉的兵馬、人才俱不少，可惜李元吉真不是那塊料。
再說李元吉年紀又小，又幾乎是半賣半送丟了河東，實在不能服眾，即使李淵用高位強把他推上去，也不可能使得人心畏服。
所以李元吉在山南大半年，並沒有多大戰果。
直到李淵丟失關中，李元吉尚沒有攻破呂子臧佔領的南陽郡城。
此時參家勢力在南陽郡內，相互攻伐，勢力參差交錯。
李淵南入巴蜀，乃抽調了不少山南的軍隊維持自己的實力。此時在山南地區，負責經略南陽盆地的只剩下山南宣撫使馬元規和其部七千余人。
若論馬元規手中地盤，著實不小，除了淅陽郡，還有南陽的冠軍（治今河南省鄧州市西北）、順陽（治今河南省鄧州市西）二縣以及襄陽郡的陰城（治今湖北省老河口市西北）縣。
然而馬元規控制著十余縣, 卻只有七千人, 手中兵力著實捉襟見肘。
對于隋軍來說, 並不想和唐軍開戰，現在不是時機。以隋軍現在的力量，等將河南地區消化完了，自可以力壓之，輕巧取勝，根本不用在此賭輸贏。
但淅陽郡卻是又必須打，否則南陽郡，甚至是河南都安穩不了。
鷹揚南下襄陽，未來更是會決戰荊襄。要是唐軍順漢水東進，截斷荊襄隋軍的退路，後果不堪設想。
此戰對隋軍來說利在速戰，李元吉在西城郡有重兵，一旦相持起來，必引兵來援，這仗就難打了。
徐世勣領一軍西進，跟馬元規的兵力差不多。但他這七千兵卻是如拳頭一般握緊的七千兵，非馬元規分散各縣的七千人馬可比。
于是徐世勣引兵急進，連破數縣, 從側面包圍南鄉（今河南省淅川縣西南）城。
馬元規不敵，只得選擇退守城中。
徐世勣眼看唐軍堅守, 便不斷地派出騎兵搦戰唐軍。馬元規雖然主守，但又屢屢抵不住隋軍，連敗兩陣，傷亡不少。
面對這種局勢，吃了大虧的馬元規再不敢動。
于是雙方在南鄉城下成了隋軍最擔心的相持局面。
南鄉城並不是一座堅城，所以不少部下勸徐世勣日夜攻城，趕在唐軍援軍到來前破城，但這卻為徐世勣拒絕。
在徐世勣看來，唐軍善于守城，但卻不善野戰。而我軍的優勢在于騎兵，而騎兵在攻城作戰中卻難以發揮作用。日夜攻城，舍騎兵而不用，乃是以短擊長。
于是徐世勣決定按兵不動，待唐軍士氣衰退再伺機出擊。
這一選擇，完全出乎所有人的意料。
果然沒過多久，李元吉得到了馬元規的求救信，便遣薛獻率領五千人馬從金州東進，支援馬元規。
對于李元吉來說，淅陽郡是他就任襄州道行台尚書令之後唯一的一處收獲，乃是遮百丑的地方，是不能丟的。不過李元吉兵力不多，也只能騰出五千人。
薛獻東來之後，並沒有直接進入南鄉城，而是計劃率軍在丹水（今湖北省丹江）渡河，繞道至隋軍的身後，和城中的馬元規合圍隋軍。
在薛獻看來，隋軍勢大，只有干淨利落地擊敗這支隋軍，才能有效地將其震懾，淅陽郡才會安穩。
不過此舉很快為隋軍的斥候發現。
有將領建議徐世勣分兵劫擊薛獻，將其留在丹水北岸。
但徐世勣卻言道︰「我軍和唐軍僅一水之隔，唐軍繞道至我軍身後，我軍若是回身擊之，則馬元規必擊我軍身後。若是置之不理，則歸路斷絕，必敗無疑。所以我軍當退守新城縣（今河南省鄧州市西北）， 引誘唐軍離開營壘，采用‘敵出我歸，敵歸我出’的戰術，再用輕騎搶掠唐軍的糧草軍需，逼迫其與我軍決戰，如此不出一個月，必能擊破梁軍。」
于是徐世勣便向後且戰撤退，往新城縣方向而去。
薛獻本做好了合圍隋軍的計劃，大幕拉開了，誰料隋軍逃了，戲沒法唱了，只得進入南鄉城中，和馬元規匯合。
而此時隋軍騎兵不斷地在南鄉城四面出擊，劫掠隋軍糧草，馬元規每每派兵出擊，皆沒能擊破隋軍這些游擊。
雙方相持十幾日，整個南鄉城與外面四面完全斷絕。
馬元規沒有辦法，便決定和隋軍決戰。畢竟其部遠多于隋軍，倒不如將其擊破，反而是省了危機。
薛獻不同意，認為太過冒險，但扭不住馬元規。
于是唐軍近萬人馬一路追擊，在新城縣南面遇到了隋軍，便列陣以待決戰。
眼看唐軍追來，眾將大喜，準備決戰，徐世勣卻言道︰「唐軍輕裝遠來決戰，即使攜帶干糧，也難以在戰斗中進食，不到傍晚便會人饑馬乏，士氣衰落。我們再趁勢攻擊，必獲全勝。」
隋軍遂按兵不動。兩軍對陣到傍晚時分，唐軍饑餓難耐，皆有退意。
徐世勣見時機已到，立即下令發起 攻。各部也乘勢從東西兩面夾擊，疾聲呼應。唐軍驚擾，陣勢大亂，參軍潰散。
隋軍奮力 追，唐軍大敗，精銳全部被殲，馬元規被生俘，而薛獻等人率數十騎逃回金州。
隋軍乘勝向東，遂全取淅陽郡。