费劲最大的是征服瓦岗军。瓦岗军首领是李密与窦建德。李密本是封建社会的士人，窦建德领导瓦岗军起义后，李密前去投靠，后取得首领位置。李密与李渊、李世民本有交往。李渊进军长安时，李密曾写信给李渊，约以共同灭隋。李渊从大局考虑，卑辞答谢，并假意推李密为主，以使李密的军队阻挡东都洛阳的隋军，便于自己进攻长安。正因为有李密的牵制，隋军无暇西援长安，才使得李渊顺利进军长安。王世充击败瓦岗军后，李密降唐，武德三年（620年），李世民与王世充争夺中原时，瓦岗军在窦建德率领下，应王世充的请求，出击李世民。被李世民打败，窦建德被俘，英勇不屈，被李渊杀害。窦建德被害后，其部将推刘黑闼为主，在漳南（今山东德州一带）起兵反唐，并在不到半年的时间内，完全恢复窦建德为首领时的所据地域。武德五年（622年），刘黑闼在洺州（今河北永年）自称汉东王，并屡败唐军。后来李渊派皇太子李建成亲征刘黑闼，李建成采纳魏征建议，实行安抚政策，争取民心，瓦解刘黑闼的部队。武德六年（623年），刘黑闼终于溃败，被俘后遇害。唐王朝又控制了河北、山东之地。
杜伏威领导的农民起义军占据江淮地区，也是唐统一全国的一个障碍。大业十三年（617年），杜伏威进据历阳（今安徽和县），自称总管。武德元年（618年），移丹阳，上表当时的隋越王杨侗，被任为安南道大总管，封楚王。唐军围攻洛阳时，招降杜伏威，并封杜为吴王，任江、淮以南安抚大使。刘黑闼兵败被杀后，杜伏威使部将辅公柘留守丹阳，自请入朝，李渊乘机将杜伏威留而不发。武德六年（623年）秋，辅公柘率军在丹阳反唐，自称宋帝，唐王朝便借故杀了杜伏威。后又派大将军李孝恭、李靖、李世劫等分路进攻丹阳。武德七年（624年），辅公柘被地主武装捕获，送唐营处斩。至此江南、淮南成为唐朝辖区。
唐朝最后一个进攻对象是梁师都。梁师都也是隋朝官员，于大业十三年（617年）在朔方起兵反隋，攻占雕阳、弘化、延安等郡，建梁国，自称为帝，并依附突厥，受封为“解事天子”。到唐太宗贞观二年（628年），为唐消灭。至此，李渊父子既兼并了封建割据势力，又征服了农民起义武装，再次统一了全国。
李渊建唐后，在组织军事力量进行统一全国战争的同时，注意总结隋朝兴亡的经验教训，厘定各项制度，为唐朝前期之治，打下了一定基础。
隋朝制定的各项制度，其本身大都不错。问题在后来的实施中，多有不尽本意的地方；而且由于实际情况的变化，有的制度本身也需要一定的变革。李渊建唐伊始，在内政方面，面临一个百废待举的局面。因此，在进行统一战争的同时，分别轻重缓急，对许多封建制度加以重新厘定。
隋末刑律废弛，统治者肆意为虐，人民无所措手足。李渊攻占长安后，学汉高祖刘邦的样子，与民约法为12条。建唐称帝后，宣布废除炀帝时期的《大业律》，并令裴寂、刘文静等人，依据隋文帝时期的《开皇律》，重新修订法律。并强调“务在宽简，取便于时”。武德七年古树（624年），正式颁布新律，即《武德律》。《武德律》大致以《开皇律》为准，只将53条新格订入新律，用刑较隋律有所减轻，维护中央集权统治的意图加重。虽不十分完备，但使官民有所遵循，并为后来的《贞观律》奠定了基础。
李渊建唐之初，就设立京师和地方学校，注重培养、收揽人才。为了笼络当时仍有一定实力的士族阶层，武德七年（624年），恢复被隋朝废除的中正官，依照北周、北齐之制，每州置大中正一人，以本州高门士人充任。不过，大中正在很大程度上是名誉职务，用人权主要还在吏部。而吏部用人的主要途径则是创立于隋朝的科举制。这一时期的科举制，与隋朝大体相近，但进士科显得更为重要，通常主持科举考试的为吏部考功员外郎。
隋末战乱，人口锐减，武德初年国家掌握的全国人户仅为200多万户，不及隋朝兴盛时的1／4。为了把流亡人口尽快招回到土地上，迅速恢复生产，增加国家赋税收入，唐高祖沿用北魏、隋朝以来的均田制和租庸调制，并针对当时实际情况，有所损益。从武德七年（624年）颁布的均田令来看，武德年间的均田制中，对土地买卖的限制比前代放宽了，说明封建国家面对土地兼并的趋势和现实，不得不开点“绿灯”：一般妇女和奴婢不再授田，解除了妇女的赋役，表明奴婢数量大大减少，在农业生产中已不占主导地位；工商业者和僧、尼、道士、女冠（即女道士）也授田，表明商人地主和寺观势力还不容忽视。至于对官僚贵族在授田上的特权规定，则是历代一致的，只是程度略有不同。在均田制的基础上，继续实行租庸调制，只是与隋朝相比，以庸代役的条件放宽了，隋朝规定是50岁以上的人才可以庸代役，武德之制则取消了年龄的限制，并且规定了役期的最高限度，显然带有轻徭薄赋的色彩。
隋末社会战乱，国家统一的府兵制遭到破坏。李渊太原起兵时只有3万人，到长安时已达20余万。为了使这支大军心归于唐，并解决军粮问题，李渊逐步把军队纳入府兵组织系统，并初具雏形。武德元年（618年），李渊即置军府，完全因袭隋朝，并任用功臣和投降军将为卫大将军、将军。但当时十二卫大将军一般为崇号，真正领兵的，是骠骑、车骑两将军，显然含有便于控制之意。武德二年（619年），置十二军，以关中诸府分隶十二军，又分关中为十二道，与十二军相应，每道都设骠骑、车骑府。十二军是唐初关中地区比较固定的基本禁卫部队。每军有将、副各一人，以督耕战。兵士平时在家生产，农闲时由兵府加以训练。较为经常性的任务，是轮流到京师宿卫，称“番上”；若遇战争，则出征打仗。府兵在服役期间，可免本身租调，但“番上”和出征时兵器、衣服、粮食等均需自备。之所以这样，根本原因在于府兵制是建立在均田制基础之上的一种兵制，寓兵于农，也就是寓资（军资）于兵了。
作为唐朝的开国皇帝，李渊的晚年是无可厚非的。虽然“玄武门之变”的发生与他有一定的关系，但这类事件在封建时代是屡见不鲜的。难能可贵的是李渊能顺应时势，随遇而安，总的来说是在优乐的生活中安度了晚年。这在开国皇帝中，也是不多见的。
近代的一些史学家，包括国外的一些研究中国史的专家，都提出了这样一个问题，即由于李渊建唐后在位时间不长，加之他的继任者是一位享有盛名的杰出人物，他的许多业绩被无意或有意地抹煞了。以致长期以来，人们一直认为李渊是一个平庸无能之辈。但只要不存主观偏见，即使在留传下来的被精心文饰了的史料中，我们也可以看出，李渊称得上是具有雄才大略的一代开国之主。这在以上所述中已有描述。此外值得一提的，是他的晚节，也无可厚非。
作为封建帝王，李渊当然过着封建特权式的宫廷生活。在他统治的武德之年，也曾有过一些不良行为：如宠爱嫔妃，以致有时怠政；听信裴寂的谗言，错杀刘文静，等等。史书上还讲，武德年间，李世民平洛阳后，他让贵妃等人到洛阳，选阅隋朝宫人，收取府库珍物，贵妃等人私下向李世民求要宝货，并为自己的亲属求官，遭到李世民的拒绝后，心怀不满。后来李世民因为淮安王李神通有大功，以“教”（秦王的指令）的形式给田数十顷。张婕妤（李渊贵妃之一）之父也通过张婕妤向李渊求此田亩，李渊即手敕赐予。李神通因为李世民教给在前，不给婕妤之父，张婕妤就在李渊面前告状，说：“皇上赐妾父田，秦王（李世民）夺去后给了淮安王！”李渊不问情由，大发雷霆，指责李世民：“我的手敕不如你的教管用吗？”
这些行为，当然属于不良之列，况且，在封建帝王之中，并不为尤。相反，在李渊的身上，有许多值得称道的东西。特别是他以民为本，注意虚心纳谏，如武德年间，万年县法曹孙伏伽上表，以隋亡为鉴，直言指责李渊有逸乐行为，并指出对皇太子和诸王的教育，也需要更加注意，慎择左右之人。虽然言辞直切，一无所隐，颇有些让人脸上搁不住，但李渊看表后，非常高兴，认为言之有理，下令褒奖，并擢升孙伏伽为治书侍御史，赐帛300匹，以鼓励人们敢于直谏。后来唐太宗贞观时期的虚心纳谏，不能说与李渊的影响毫无关系。
武德末年发生的兄弟相残的“玄武门之变”，作为父皇，李渊当然应负一定的责任。但这类事件，在封建时代可以说是屡见不鲜的。当初李渊立长子李建成为太子，是符合封建社会传嫡立长的基本原则的，不能说有什么不对。至于史书上说他曾给李世民许愿更立太子，信其无则无，信其有则有。以李世民当时的功业才干和后来的成就，也不失为父皇的一种明察。说他听信妃嫔及大臣谗言，偏溺太子、元吉，危及世民安全，也不尽可信，何况就是按正史所讲，也是在李渊表示要第二天召见几个儿子评断是非之前夕，发生了“玄武门之变”的。这只能说明李世民动作之快之狠，连乃父也始料不及。当李渊听到李世民残杀兄弟的报告后，当时气得连一句话也说不出来，停了好一会儿，才气愤地说：“想不到逆子竟会杀害自己的亲兄弟！”这时在旁的萧瑀说：“请陛下息怒，太子（李建成）和齐王（李元吉）本来就没有秦王（李世民）功高，陛下如把国事都托付给秦王，一切事都了结了。”李渊虽然十分气恼，但面对木已成舟的事实，他顾大局、顺大势，当时手敕所有军队听秦王处置，以免更大的流血事件发生，于当年六月七日下诏立李世民为皇太子，八月，让位李世民，自己以“太上皇”的身份退居二线。
李渊以太上皇的身份退位后，徙居太安宫，不再干预朝政。这换来了李世民的隆礼相敬。贞观七年（633年）冬，李世民在未央宫举行盛大宴会，邀李渊上座，十分恭敬，李渊高兴之际，令在座的突厥颉利可汗跳舞，又令南蛮酋长唱歌，李世民还亲自手捧酒杯，送到李渊面前，说现在胡越一家，四夷征服，都是您老人家教诲的结果。李渊又过了一回皇帝瘾，也就心满意足了。李渊自知李世民已控制大局，也就乐得对政事不闻不问，过着清闲优乐的生活。这种态度和做法，对减少当时宫廷内部的矛盾和斗争，同时也对李世民施展雄才大略，起到了积极作用，创造了良好的环境。贞观九年（635年）五月，李渊病重，崩于太安宫。享年71岁，庙号高祖，葬于献陵。作为一代开国皇帝，唐高祖李渊算是善终的。