太原副留守王威和高君雅看到李渊招兵买马，怀疑李渊要造反，便密谋骗李渊父子到晋祠祈雨，想要除掉他们，向隋炀帝邀功请赏。不料，这一密谋被晋阳乡长刘世龙获悉，告知了李渊。五月十五日，李渊、李世民先发制人，指使鹰扬府（一作开阳府）司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁 。五月十七日，恰巧数万突厥军队进攻晋阳，李渊立刻下令将二人斩首，对突厥大摆空城计，派部将王康达、杨毛等抄袭突厥，夺取马匹以充起兵之用 。随后，李渊派刘文静出使突厥，亲写书札，对突厥始毕可汗卑辞厚礼，始毕可汗复书，承诺支持李渊起兵 。 五月三十日，李建成、李元吉自河东到达晋阳，李渊再无后顾之忧。于是裴寂等与李建成兄弟，请求“废皇帝而立代王，兴义兵以檄郡县，改旗帜以示突厥”，李渊完全照办。六月，因西河郡不肯从命，李渊使李建成、李世民率军破郡城，斩郡丞高德儒。自此李渊自称大将军，署置府僚，以李建成为陇西公，左领军大都督，领左三统军等；李世民为敦煌公，右领军大都督，领右三统军等，各置官属。又“开仓库以赈穷乏，远近响应”，队伍大为扩张，“二旬之间，众得数万”。于是定下入关之计。
