从隋炀帝大业七年（611年）起，天下大乱。隋炀帝置若罔闻，依然天天花天酒地，醉生梦死。
面对现实，太原留守李渊难免时时长吁短叹，儿子李世民却并不如此。原来他早已将时局看清，深知目前形势不会持续太久。于是结识了好些有志之士，以图将来成就大业。
在他交往的朋友中，有一个是晋阳县（治今山西太原西南古城营）令刘文静，还有一个是宫监裴寂，都是很有谋略的人。
一天，李世民与刘文静谈论天下冤狱，刘文静说：“现在是天下大乱，除非有汉高祖那样的英明人物出来拨乱反正，才可能没有冤死的好人。”
世民不以为然：“你未免过分悲观了，只有庸人才会对现实绝望。”
刘文静一听大喜，说：“我的确没有看错人啊。公子，现在不时地有农民起义，如果有众望所归者敢于挺身而出，正好将他们收归旗下为我所用，就是太原百姓，恐怕也有十来万人。你父亲手里又有好几万兵将，就算只凭这些力量乘虚入关，号令四方，那也要不了半年时间，就可成帝业了。”
李世民想了想，说：“你说得很在理，只怕我父亲不答应，如何是好？”
文静说：“这也不难。”于是在李世民耳边说了几句话。
李世民离开后，直接取了好酒，摆了盛宴，请裴寂一块儿喝酒。李世民知道裴寂好赌，便在游戏时故意输钱给他，搞得裴寂格外心情舒畅。
然后，李世民才将自己与文静的主意告诉他，请他出面劝说李渊。裴寂说：“你父亲与我是老朋友了，如果明言相劝，很可能被他拒绝。”于是两人商量了一番，便由裴寂去劝说李渊。
谁知如此这般之后，李渊仍然十分犹豫，无论裴寂如何分析“隋室江山，唾手可得”，并力劝他“识时务者为俊杰”，他还是坚持自己“世代领受国恩，不敢变志。”正在这时，有士兵来报，说是突厥大军压境，已经到了马邑（治今山西朔州）。李渊立即与副留守王威和高君雅商议对策，决定派高君雅领兵万人前往马邑支援。
高君雅走后，裴寂的话又在李渊耳边萦绕，思来想去，好几天寝食难安，却仍然拿不定主意。当得知高君雅出师不利后，李渊更加茫然无措，只是一个人呆呆独坐。
正在这时，李世民策马飞奔而来，他劝父亲道：“现在下有外寇和群盗作乱，上有严刑伺候，随时可能面临灾祸。不如顺应民意，带兵起义，说不定还能转祸为福呢！”但李渊仍然不为所动，还扬言要将儿子举报出去，免得连累一家人。
第二天，边境军情更加危急。李世民再次进到李渊的房间劝父。这回李渊口气有所缓和，说是经过一夜的考虑，觉得儿子说的也很有道理，只是家眷都在河东（治今山西永济蒲州镇），怕一旦起兵之后，家人有个什么闪失。世民于是立即派人飞奔河东，去接河东的家属。
正在这时，江都有消息传来，当即吓得李渊魂不附体。原来，是隋炀帝因李渊未能将突厥及时击退，已经派人到了太原，要将他捉去问罪。
李渊心急如焚，不知如何是好，只得将裴寂和儿子李世民召来一同商量。裴寂说：“我前日劝您，就是为了防这一招。现在情势紧急，还犹豫什么呢？古人说‘先发制人，后发被人所制’。何去何从，望您三思啊！”李世民接着说：“现在皇上昏庸，尽忠无益啊！”
很快，隋炀帝派来逮李渊的两名使者也已来到，李渊推说自己病重不能起床，只派下属将两人先安排住下。这两人呢，虽然身负皇上命令，但因李渊手握兵权，也只好耐着性子等待。
不几日，江都隋炀帝又传来赦免的命令，让李渊还担任原职，戴罪立功。情势一有缓解，李渊又放宽了心，起兵之事就搁置了好几日。
裴寂及世民看李渊迟迟不能决断，心中焦急，不断催促。世民又将刘文静保举出来，希望一同谋事。文静上来就献上一计，即假借皇帝名义发诏，命令太原、西河（治今山西临汾东北十三里）、雁门和马邑的百姓，凡是二十岁以上的都要当兵，以东征高句丽（即高句丽国，都今朝鲜平壤）。这道命令一发下去，立即民怨沸腾。
这期间，世民又多次劝父举兵，李渊先说：“家属还未到。”世民说：“家属已经起程，想必很快就到了。现在事情已很紧急，得早点布置才好。”李渊又皱眉道：“兵力不足，恐怕一时也成不了事。”世民上前一步，附在李渊耳边说了几句。李渊随口说：“好。”
费尽周折至此，李渊终于决定起兵反隋。同在太原的两个副留守，即王威和高君雅，察觉李渊父子有异，准备要除掉李渊，却被李渊父子及刘文静等用计，以“引突厥入寇”的罪名将二人斩首。
很快，李渊的家眷也都从河东来到。这时窦夫人已经病逝，三儿子玄霸也在家乡不幸因病夭折，所来的人中有李渊的大儿子建成、四儿子元吉及女婿柴绍等，其中还有李渊之妾万氏。万氏所生儿子智云在途中失散，后在长安被留守的阴世师所害，李渊得知后伤心不已。
为了稳住突厥，李渊派出刘文静与兵临城下的突厥谈和，邀其共定京师，一起反隋，并约定胜利之后，土地归李渊，玉帛归突厥。始毕可汗大喜，当即赠马千匹。搞定突厥之后，李渊在大业十三年（617年）六月自号义兵，亲自率领全副武装的士兵3万从太原出发，大儿子建成和二儿子世民都随行，只留下小儿子李元吉留守晋阳宫。其起兵名义，则说是要拥立在长安的代王侑。一路上，将军与士兵同甘共苦，所过之处秋毫无犯；沿途树上有成熟的苹果，也是给了钱后才摘下来吃。这支纪律严明的队伍，颇得百姓拥戴。
