經過充分準備,李淵才決定起兵反隋。但在起兵之前為了解除後顧之憂,他解決了以下幾個問題:
一、鎮壓歷山飛起義軍
歷山飛起義軍人多勢眾,但缺乏嚴格訓練,組織性、紀律性較差,李淵不正面決戰,而是避開歷山飛軍的優勢,抓住其弱點,採取誘騙、突然襲擊的戰術,出奇制勝,可見李淵的指揮作戰藝術是比較成熟的。這次作戰的結果,歷山飛部潰不成軍,李淵乘機收羅了許多潰散的敗兵,壯大了自己的隊伍。
二、殺王威、高君雅,除心腹之患
王威、高君雅是隋煬帝的親信。在李淵命高君雅和王仁恭共同回擊突厥遭到失敗的時候,隋煬帝要對李淵和王仁恭進行處分,並未問罪於高君雅。當李淵欲追究高君雅的責任時,他又考慮到「雅是煬帝舊左右,慮被猜嫌,忍而弗問」。反之,高君雅對李淵是常「疑有異志,每與王威密伺帝(李淵)隙」。由此可見, 王威、高君雅正是李淵起兵的內部隱患。
為了排除這種隱患,李淵也頗費心機,他通過晉陽宮監裴寂結識了鄉長劉世龍。劉世龍與高君雅過從甚密。於是,李淵通過劉世龍掌握了高君雅與王威的動態。
大業十二年(617)五月十四日夜,李淵使李世民伏兵於晉陽宮城之外。次日早晨,李淵與王威、高君雅共同理事。劉文靜引開陽府(太原有十八府,開陽府是其中之一)司馬劉政會入立庭中,自稱有密狀要呈上。李淵要求當面呈狀,劉政會不立即呈狀道:「所告乃副留守事,唯唐公得視之。」李淵佯作吃驚道:「豈有是邪!」李淵看狀後宣布:「威、君雅潛引突厥入寇。」高君雅勃然大怒道:「此乃反者欲殺我耳。」在這種緊張的氣氛中,李世民已經斷絕了外出的道路,劉文靜、劉弘基、長孫順德立即逮捕了王威與高君雅。十六日,突厥數萬人進攻太原。這樣就更使人相信王威、高君雅與突厥確有密謀。李淵利用這個有利時機殺了王威、高君雅。不難看出,殺王威、高君雅是李淵起兵的必要步驟,是其起兵反隋計劃的組成部分,決不是偶然事件。殺了隋煬帝任命的官吏,無疑是以實際行動宣布他要推翻隋朝的統治了。