隋朝末年，各地群雄并起，农民起义不断。乱世之中，隋炀帝不得不重用李渊。李渊借此之机，大树威信，广结豪友，扩大力量，使各路英雄纷纷投奔自己。就是在这样的乱世中，李渊抓住时机，在晋阳起兵，一举开创了李家天下。
隋炀帝即位伊始就大兴土木，建东都、修长城、开运河、筑驰道，使得民不堪命。炀帝又好大喜功：巡游江南，北上榆林，以夸耀自己的权势；出兵边塞，侵略高丽，以显示自己的武威。结果徭役无时，战争频繁，社会生产遭到严重破坏，人民生活痛苦不堪。致使黄河之北，千里无烟；江淮之间，土地荒芜。人民无法生活下去，不得不铤而走险，以武力来反抗隋炀帝的残暴统治。这不仅加深了隋炀帝统治的危机，也进一步激化了统治集团内部的矛盾。公元611年，隋炀帝发动了侵略高丽的战争，李渊受命在怀远镇负责督运粮草。当时，民不堪苦，怨声沸腾，贵族杨玄感利用人民的不满情绪，起兵反隋，有相当多的贵族子弟追随其后，遂爆发了反隋的第一次大叛乱，进一步加重了隋炀帝对大臣的猜忌。隋炀帝命李渊镇守弘化郡（今甘肃庆阳），兼知关右诸军事，以防御杨玄感。杨玄感兵败后，李渊继续留守弘化。在这期间，李渊广树恩德，结纳豪杰，隋炀帝对他有所猜忌。一次隋炀帝巡幸当中，征召李渊来行宫觐见。李渊称病没有前来，结果招致隋炀帝的不满。隋炀帝曾对身边的宫人说：“索性死了，倒也完事！”在这样的形势下，李渊除了更加倍小心谨慎以外，必然也要设法自保，寻求出路。
隋炀帝由于出兵高丽、镇压各地的造反者，不能不继续重用李渊。公元615年，李渊在河东（今山西省北部）平定了当地许多土匪，抗拒了突厥人对边境的侵犯，表现出过人的军事谋略。李渊镇守太原之初，隋炀帝从楼烦巡游到雁门时，被突厥兵包围，因为李渊的太原兵才得以解围。隋炀帝便让他和马邑郡守王仁恭一同北击突厥。在马邑，李渊与王仁恭两军兵力不过八千多人，王仁恭因为兵少深感害怕。李渊经过深思熟虑，提出了“胡服骑射”的主意。隋军兵马不足五千，李渊选能骑善射者两千余人，饮食起居一同突厥，驰骋射猎，以耀威武。有一天，李渊的军队与突厥军相逢，李渊纵兵出击，大败突厥，此后突厥收兵北移，不敢南下骚扰。
此时隋炀帝荒暴，颇失民心，对大臣的猜忌心越来越重。在京畿一带流传着谣言：“桃李子，有天下”，“杨氏将灭，李氏将兴”。谣言传到隋炀帝耳中，引起他对李姓朝臣的疑忌，李密正是因此被逼去瓦岗寨起义了。在大业十三年（617年）李渊被任命为太原留守。太原是军事重镇，历来是兵家必争之地。不仅兵源充足，而且饷粮丰沛，储粮可供十年之用，李渊初到太原时，有“历山飞”农民起义军结营于太原之南，使得上党（今山西长治）、西河（今陕西汾阳）、京都道路断绝。这支起义军有十几万人，巧于攻城，勇于力战，多次打败隋军。李渊为树立自己的威信，决定讨伐“历山飞”农民起义军。两军相遇于河西雀鼠谷口，起义军有两万余人，布阵齐严，而李渊所部步骑仅五六千余。在力量如此悬殊的情况下，李渊决定智取，他将所部将兵分为二阵：以赢兵居中，扬旗鸣鼓，排成大阵，造成是主力的假象，然后以麾下精兵数百骑，分成两个小阵，左右出击，终于打败了起义军。
李渊击败起义军后，他在太原的统治地位得到巩固，晋阳（今山西太原境内）一带的官僚、地主、豪商也纷纷投靠李渊，他成为太原的最高统治者。
李渊赴晋阳上任时，留长子李建成、四子李元吉在河东，潜结英俊，扩大自己的力量；次子李世民随侍晋阳，李渊也授意他密招豪友，广揽人才。晋阳令刘文静、晋阳宫监裴寂以及逃避征辽、负罪在逃的右勋卫长孙顺德、右勋侍刘弘基、左亲卫窦琮等人纷纷投靠李渊，因此李渊十分高兴，意欲在太原发展自己的势力，他在太原开始谋划起兵。
此时，农民起义的烽火已燃遍全国各地，逐渐形成以李密、窦建德、杜伏威为首的三支主力农民起义军，他们分别活动在河南、河北、山东和江淮一带，以摧枯拉朽之势瓦解着隋王朝的统治，将隋统治集团及其军队主力分隔于江都（今江苏扬州）、洛阳、长安三处，使之陷入四分五裂的状态。一些贵族和地方官吏见隋朝大势已去，也乘机而起，占据郡县，建立割据政权，称王称帝，隋王朝的统治已是日薄西山、奄奄一息。在这种形势下，早就心怀异志的李渊父子将起兵的准备正式提上了日程。
李渊的行动，引起忠于隋炀帝的副留守王威和高君雅的怀疑。大业十三年（617年）六月，李渊设计杀掉王、高二人，宣布大举义兵。李渊从太原起兵进入关中，一路军纪严明、秋毫无犯。李渊率部占领隋朝旧都大兴城（即长安，今西安）以后，更以其高超的政治手腕与政治谋略展示出了一个新王朝开创者的风采。