李淵借著和李世民演雙簧的機會，終于暫時說動眾人，不再撤兵。但是這只是治標不治本的辦法，只要唐軍長時間攻不下霍邑，眾人還是會再次提起返回太原的議論，到時候就不是這麼容易便能壓下的了。
現在空喊口號沒有用，還得讓大家感到希望。
但霍邑堅城，不是那麼容易攻破的。
這時李世民便向李淵建議道，此地為霍邑，旁邊便是霍山，傳聞霍山有山神，是東方天帝的次子，掌管海內名山，河東不少人皆信之，可為一助。
霍邑有一夫當關之險，韓信嶺易守難攻，唐軍很難從正面攻破霍邑。但李淵打听到，霍山西麓有一條販運私鹽的小路，可繞過霍邑城，直通霍邑背後，于是他心中便有了定計。
當日傍晚，李淵便讓人裝扮成一個白衣老人，前來軍民拜謁。
此人穿著打扮，處處透露著與常人不同，很快便引得一軍將士圍觀。
這人見到李淵便說道︰「余為霍山神使，是來拜見唐公的。」
李淵不信，便問道︰「神本不測，卿何得見卿非神類，豈其神言。」
這老人便說道︰「十二月雪停，路出霍邑東南，吾當濟師，可為吾立祠廟也。」說完便不見了。
李淵派人前去查探，果然發現了這條小道。李淵便大喜道︰「天無絕人之路，此神不欺趙無恤，豈負我哉！」仿佛真的有神靈相助。
趙無恤便是趙國的奠基人趙襄子，《史記‧趙世家》記載，春秋晉國，智伯聯合韓、魏兩家攻打趙氏，趙襄子被逼離開絳都，逃往晉陽。趙襄子的部下原過在追趕途中，經過王澤（今新絳西南）時，路遇三個人攔阻。
這三人告訴原過，他們是霍山神的天使，交給原過兩節竹管，讓他帶給趙襄子，讓他按朱書寫的意思辦事。三月丙戌，保證他能消滅智伯，還能以霍邑為基礎，擴大地盤，將來佔有林胡之地。
後來晉陽之戰，趙襄子派張孟談說服了韓氏、魏氏倒戈，正好在三月丙戌這一日水淹智伯大營，滅了智家。
趙襄子為感謝霍山神傳授朱書，遂于霍山觀堆峰為其建祠，並命原過管理祭祀事宜。到趙武靈王時，趙國果然佔有了林胡之地。
這個故事很多人都听說過，此時再次听聞霍山神出現，還為李唐大軍指明道路，紛紛大喜，視作神佑。一時之間，李唐大軍的士氣高漲起來。
到了次日，大雪初停，李淵乃命其子李世民率領千余精騎東走霍山，從小路繞到霍邑的東南方向，而他本人又親自率軍攻城。
李淵帶著眾人來到霍邑城下，鼓噪進兵。宋老生命令城頭上的隋軍射箭還擊。一時之間，箭矢如雨，竟有箭矢射到李淵身前。
李淵見狀，趁機往後倒去，落到馬下，他身旁的王長諧、武士立刻上前將他護住，然後抱著他往後而去。
在城頭上的宋老生見到李淵落馬，心中大喜。只見李淵身邊親軍混亂，擠在一起，料想李淵即使不死，怕也是重傷。
宋老生身邊的將領便紛紛勸道，不若趁著李唐賊軍混亂，趁機出擊，斬殺李淵，得建大功。
宋老生雖然之前定下了堅守的策略，但也沒想到今日能重傷李淵。思索再三，終究還是不願丟了這唾手可得的功勞，于是下令，全軍出擊。
此時還在中軍指揮的李建成，見隋軍出擊，立馬下令全軍撤退，引宋老生追擊。
宋老生見唐軍狼狽撤離，更是覺得必勝，于是率領騎兵，漸漸離得城門遠了。而唐軍等得便是這個機會。
此時已經返回本陣的李淵見狀，立刻命大軍擊鼓示意。
而一直埋伏在霍邑城東南方向的李世民听得此消息，立刻和竇琮二人率領騎兵殺了出來，直奔宋老生軍的後方而去。
李世民麾下的騎兵不過千人，但俱是精銳。而宋老生的後軍被襲，立刻混亂起來。
一時之間，隋軍開始亂了起來。
李世民繼續率軍沖陣，又分出數百人予竇琮，令其攻擊城門。
此時宋老生突遭打擊，立刻便反應過來，中了唐軍的計了，便下令撤退。但四面的唐軍圍了上來，李世民又率軍斷了宋老生的後路，他往哪里逃啊。
不過宋老生也是頑強，率領部隊，拼死抵抗。
李世民軍隊雖然精銳，但只有數百人，雙方相持下來，傷亡一多，便有些撐不住了。
此時長孫順德從後面殺出，沖上前去，一箭射中宋老生肩膀。宋老生正在激戰，措不及防，中箭之後便從馬上摔了下來，掉到了溝底。
李淵眼尖，看到宋老生落馬，立刻讓人高呼道︰「唐軍已經抓住宋老生！唐軍已經抓住宋老生！」
宋老生的部下看不到宋老生，本就心驚，听到唐軍的呼聲膽戰心驚，不少人掉頭就跑，直往霍邑城逃去。
整個隋軍更混亂了，成了潰敗之勢。
而與李世民分兵的竇琮則率領數百人，直沖霍邑城門，城門守軍根本來不及關閉，便為對方破門而入。
在兩翼的王長諧和劉弘基二人，也率軍從兩側包抄，搶入城門。
被射傷的宋老生差點摔死，從壕溝里爬起來，便看到四面混亂的場面，他提著長槊，立刻就要組織軍隊，但哪里還有人听他的。
兩名親兵擁在身前，護持著宋老生撤退。
但道路盡為潰兵所阻，根本前進不得。而宋老生又受了傷，行動不便，更無法騎馬。
三人被亂軍擁著，狼狽不堪。
而在軍中的劉弘基正好望到狼狽逃命的宋老生。他一勒戰馬，輕騎而出，直奔宋老生而去。
馬蹄飛快，兩側士兵盡如波濤一般分開。劉弘基持矛殺入宋老生面前，馬蹄懸空，舉矛便刺。
宋老生尚無防備，便看到一柄閃著寒光的長矛，向他刺來。
劉弘基一矛刺死宋老生，又命人將其砍下腦袋，掛在旗桿之上，往城頭而去。
城中守軍見到宋老生戰死，更無戰意，紛紛投降。
唐軍遂順利攻下霍邑城。霍邑既下，唐軍成功打開了進軍汾、絳諸郡的大門。