李渊改革府兵制，使兵部虽有调兵之权但不能统兵，将帅有统兵之权却无握兵之重，从而使军权完全掌握在皇帝手里，加强了李氏家族中央集权的统治力量。
高祖李渊晋阳起兵时，领兵3万；进军关中后，军队人数达20余万。为了使这支军队归心于李唐，加上要解决军粮问题，李渊便把军队逐步纳入府兵组织，基本具备了府兵制的雏形。府兵制是一种兵农合一的制度，这种制度创始于西魏的宇文泰时期，经过北周、隋朝，到唐朝沿用。府兵制将练兵权和领兵权分离，防止将领拥兵自重，对抗中央。府兵制规定兵士平时在家生产，农闲时由兵府加以训练，经常性的任务是轮流到京师宿卫或到边境戍守，称作“番上”。如果遇到国家发生战争，则出征打仗。府兵在服役期间，可以免掉自身的租和调，但不论“番上”还是出征，所需的兵器和衣服粮食等都要由自己负责筹备。
府兵本身，有内府、外府之分。内府、外府后又称为外军、内军。内府指五府三卫与东宫三府三卫。内府有亲、勋、翊的区分，兵士分别为亲卫、勋卫、翊卫，合称三卫。统领内府三卫兵的是：左右卫，统亲府一、勋府二、翊府二，共五府。内府置中郎将，副为左右郎将，以下团、旅、队的设置略同外府。唐袭隋制，也是十二卫分领府兵宿卫，只是将屯卫改为威卫，候卫改为金吾卫，别置领军卫，废御卫。此外，领府兵的还有侍卫东宫的率府，唐代为左右卫率、左右司御率和左右清道率，叫做东宫六率，但领府很少。左右卫率，统亲、勋、翊府各一；其余卫、率，各统翊府一。
内府卫士取二品至五品官的子孙充当，如二品、三品官子补亲卫，二品官曾孙、三品官孙、四品官子等补勋卫及东宫亲卫。外府卫士取六品以下官的子孙及白丁无职役的人充当。以此为标准，征发原则是先富后贫，先强后弱，先多丁后少丁。府兵虽然包括官僚子弟和一般地主，但仍以均田农民为主体。三卫为士大夫的进身阶梯，被皇权视为卫府中最亲信的，它可以宿卫内庑，称为内仗。至于外府，则三卫外所有折冲府都包括在内。其中左右卫领五府三卫，又最亲信，列于内仗。凡朝会、出行，三卫、左右卫、左右骁卫、左右武卫等兵交错立杖，采取内府、外府相互结合又相互控制的办法。京城诸门及京城诸街，由十二卫负担宿卫，交错“助铺”或巡警，也很严密。三卫每月番上的人数达几千人，诸卫番上者又数万人，构成为宿卫中的一支主力。此外不领府兵的左右千牛卫，“以御刀升殿供奉”，与隋制相同，在十六卫中属于皇帝亲军中的亲军，内中又有内。内外交错，极为复杂。
府兵与禁兵的宿卫结合在一起，又是相互区别的。府兵到长安宿卫，由十二卫将军分领。承担宿卫、保卫宫廷的还有屯驻北门的禁军，与十二卫所领府兵对称南、北衙军。南衙、北衙的分别：十六卫属南衙是为卫府之兵，另有禁兵属北衙。南衙相沿为宰相所掌，北衙相沿为皇帝亲信的中官所掌。而宿卫兵屯驻和宿直也有南北之别。南衙即诸卫之屯于宫南者，在长安太极宫前朱雀门内；北衙即婪兵之在禁苑内者。有时也以文武来加以区分，南衙以文臣主兵事，属宰相所领，可以奉敕调遣武臣和军队；北衙以武臣主兵事，宰相一般不参与，而由皇帝直辖。北衙军队在唐代一开始就成立了，史言“南北禁军”，即合卫府兵与禁兵而言，禁兵主要为羽林屯兵，屯于玄武门，又称北门屯兵。高祖武德时建成以太子置“宫甲”，分屯左右长林门，号长林兵，也属于禁兵之列。唐初的禁兵，其规模不算很大。南北衙宿卫，不独屯营与直宿互相交错，而且兵将也相互渗透，是唐代南北禁军一个特点。左右羽林在大朝会时，执仗以卫阶陛，行幸则挟驰道为内仗，与卫府内仗交错在一起。至兵将渗透，如程知节以左屯卫大将军，检校北门屯兵；姜行本以右屯卫将军，主管飞骑；韦待价以右武卫将军，兼检校右羽林军事；张延师以左卫军将，典羽林屯兵前后达30余年。禁兵与卫府兵其所以不同，是南衙不得干预，直接隶属于皇帝或者由太子专门统领。
府兵还担任征防任务，与地方兵或边防兵结合在一起，往往被视为中坚力量。府兵出兵征防由朝廷命将统率，调遣时必须持兵部所下鱼符，经过州刺史和折冲府将领勘合后，才得发兵。战争结束则兵散于府，将归于朝。这样，将帅就不能拥兵自重。府兵担负边疆或内地特殊防务，由指定的折冲府分番服役。凡守库、护桥虽为专责，但仍然会同地方兵驻屯境内；戍边则系配合边防兵，府兵人数不多，除非战争中临时从各地调遣而来，一般均以少数兵力担负着防戍的重要任务。
府兵在出征时偶尔单独作战，但一般情况下往往与地方兵、边防兵、临时募兵以至番兵结合在一起，而作为中坚力量。
从府兵数量上估计，按每府平均额千人计算，总数约为40到60余万。以五番输役，每番总人数至多八万到十二三万，而宿卫京城的经常需要好几万人，所以可资调遣出征或防守外地的人数不会很多，即使集中调遣，充其量也不能超过两番总数，除留供宿卫外，不可能多于10万人。府兵组织本为平时编制，虽然也在战时发挥作用，却不能经常化。因而说，府兵以宿卫为主。但不可忽略的是府兵在一定条件下，能适应战时调遣，番第制度规定征防可以免番，就包含了这一内容，特别是府兵作为核心力量使用，毕竟有其重要地位。
府兵制以均田制为基础，均田农民数量越大，府兵制就越巩固。府兵制与均田制结合，兵农合一，有利于农业生产的发展，增加了政府管理的户口和赋税收入，扩大兵源，保证了军队的战斗力。