从魏晋形成门阀制度以来，士庶界限森严，所谓“上品无寒门，下品无士族”，士族与庶族之间不能通婚。士族为保持世袭特权，非常重视谱牒，不仅官府在修谱牒，士族私家也有谱牒，谱牒体例有辨姓氏、联婚姻、明官爵三个特点，吏部选官，士族联姻都必须查谱牒，生怕庶族混入。庶族当然没有资格自修谱牒，官修的谱牒上当然没有庶族。隋末战乱，门阀制度急剧衰落，但重门第的观念还存在，唐代就三次大修谱牒。贞观八年，唐太宗令高士廉修《氏族志》，“遍责天下谱牒，质诸史籍，考其真伪”，将“从贱入良，营门杂户，慕容商贾”等各色假冒士族，从士族队伍里清除出去，将李姓皇族提为第一等，将唐朝的开国功臣列入士族。高宗显庆四年，武则天掌权时，修《姓氏录》，将皇后的武氏家族列入第一等，五品以上的官员列为士族，无官品的旧士族排除在士族之外。以上两次官修谱牒，当然不可能列入李白一家，那时他们还远在西域，又非品官之家。玄宗开元二年，第三次官修谱牒，名为《姓氏系录》，修撰原则是：“取其高名盛德，素业门风，国籍相传士林标准，次复勋庸克懋，荣绝当朝，中外相辉，誉兼时望者，各为等第。其诸蕃酋长，晓袭冠带者，亦别为一品。”这次官修谱牒时，李家一家虽已入蜀定居，但他这一家是普通百姓，无上述的入谱条件，李白之父“高卧云林，不求禄仕”，既无那个兴趣，也无资格去要求入谱，所以在天宝元年，玄宗下诏将凉武昭王之后，列于“属籍”(即皇帝宗族名册簿籍)时，也没有李白的份。这也说明李白一家本来就是庶族，出身寒微，没有谱牒可查。“范碑”就明确说“难求谱牒”，字缺纸烂的十数行伯禽手疏当然算不得谱牒。
从李白及其子孙的婚姻情况也可以看出李白出身寒微。唐代的门阀制度虽处于衰落之中，但一些高门士族仍然维持等级森严的门阀婚姻关系，直到唐文宗时仍然是“民间修婚姻，不计官品而上阀阅”。李白先后娶许氏和宗氏夫人，虽都是相门之后，但都不算门阀世族，她们当宰相的祖父，都是“昙花一现”式的人物。许氏夫人的祖父许圉师，在高宗时当了半年左相就因包庇杀人犯的儿子而获罪罢官，在这六十多年后，李白才与许氏结婚，这时许家早已衰落。宗氏夫人为宗楚客的孙女，宗楚客是武则天信任提拔的寒族，曾三次拜相，后因从韦后搞宫廷政变失败被杀，家道衰落。李白这样的“布衣”才子与家道衰落的相门之后结合，可谓门当户对。若李白真的是皇族帝胄、豪族高门是不会给早已破落的相门之后作“赘婿”的。
从李白死后未归葬故里，也看出李白之家不是士族，出身寒微。魏晋以来，以至唐代，士族丧葬礼俗是必归葬于故里，即使死时无条件扶柩回乡，隔一些年也要归葬于祖茔，而庶族就没有这么多讲究，“沟死沟埋，路死路埋”。李白出身寒微，其父从西域迁到西蜀，属“孤门细族”，无有大家族的祖茔，青莲故里仅李白之妹的墓，连李白父母的墓也找不到。李白没有那个必要和可能归葬故里。
李白死后其子孙相当贫寒，完全是普通穷苦老百姓。范传正访得李白“孙女二人，一为陈云之室，—为刘劝之妻，皆编户氓也。因至郡庭，相见与语，衣服村落，形容朴野……问其所以，则曰：父伯禽以贞元八年不禄而卒，有兄一人，出游一十二年，不知所在。父存无官，父殁为民，有兄不相保，为天下之穷人。无桑以自蚕，非不知机杼；无田以自力，非不知稼穑，况妇人不任，布裙粝食，何所仰给？俪于农夫，救死而已……因告二女，将改适于士族，皆曰夫妻之道命也，亦分也”。她们不愿再改嫁给士族，说明李白这一家本来就属于庶族，只能与普通农民结婚，在士庶界限还比较严格的情况下，她们不愿也不能高攀士族。
李白本来出身寒微，但在“世重高门，人轻寒族”的社会风气中又不得不冒充士族，他自称“本家金陵，世为右姓”，又与李唐宗室的人称兄道弟，出现许多漏洞，在所难免。后世学者从这些漏洞中作出种种臆测，或说西域胡人，或说李建成之后，或说李陵之后……硬说李白有许多难言之隐，硬要把“隐秘”找出来，于是就把简单问题复杂化了。在盛行血统论的封建社会，李白不得不与豪门贵族攀亲，封建社会的史学家也总要给历史名人找一个高贵的血统，现在血统论已经过时，我们何必非要说李白是帝王将相之后，出身于大富大贵之家呢？历史上许多杰出人物不也是出身于普通的百姓之家吗？
根据现有史料，除去李白不得已而冒充皇族的部分，再来勾画他的先世，应当是如下情况：
隋末流亡于西域，据“范碑”云，“隋末多难，一房被窜于碎叶”。“李序”云：“中叶非罪，谪居条支”，碎叶在今吉尔吉斯境内阿克别希姆，条支当是对西域极远之地的泛指。大业六年(609)隋朝的版图扩大到今新疆中部，在那里“置郡县镇戍，发天下轻罪人徙居之”。李白的先世应当是这些被徙居新疆中部的轻罪人之一。两年后发生山东王薄起义，天下开始大乱，西北也不平静，刚被征服不久的吐谷浑首领又卷土重来，据《隋书·西域传》载：“大业末天下乱，吐谷浑伏允复其故地，屡寇河左郡县，不能御焉。”战乱一起，许多汉人逃往突厥统治下的广大地区，在史籍上有多处记载，如《隋书·北狄传》：“隋末离乱，中国人归之(突厥)者无数。”《新唐书·高昌传》：“大业末，华民多奔突厥。”《大唐创业起居注》在写李渊致信突厥可汗时说：“自顷离乱，亡命甚多，走胡奔越，书生不少，中国之礼，并在诸夷。”李白的先世很可能就是奔往突厥的书生，他先因轻罪被流放于隋代的西部边境，接着是吐谷浑伏允再起战火，不得不又再往西逃，到了中亚碎叶一带暂居，到武则天统治后期，复置四镇，中西交通畅通，才辗转从西域迁到西蜀昌隆县(今四川江油)青莲乡。尽管他们已在西域住了几代，但华夏的文化传统并未丢掉，李白的父亲眷恋内地中华文明，使下一代有较好成长环境，在武后神功初，迁到西蜀隐居，对后代笼统说：“隋末多难，一房被窜于碎叶。”
根据李白的诗文、与李白同时代的人的记载和宋人的著作加以综合分析，可以看出李白父亲是一个文化修养很高的半耕半读的陶渊明式的隐士。
(一)从李白的诗文中看他的父亲及其家庭环境，在《秋于敬亭送从侄耑游庐山序》中说：“余少时，家大人令诵《子虚赋》，私心慕之。”《上安州裴长史书》：“五岁诵六甲，十岁观百家，轩辕以来，颇得闻矣。”《赠张相镐》：“十五观奇书，作赋凌相如。”《上安州李长史书》：“白少颇周慎，忝闻义方，入暗室而无欺，属昏行而不变。”从以上叙述可见李白之父是文学修养很高，品行端正，倾注自己全部心血教育子女的人。李白五岁开始读书识字，十岁读了诸子百家的书，十五岁写的赋能与司马相如相比，这不仅仅说明李白的天资聪颖，而且说明李白有一位品德高尚、学问渊博的父亲做他的老师，使他从小受到了良好的家庭教育。李白并不是从州县学校中培养出来的，当时的官办学校，以科举考试为目的，儒家经典为主要内容，不可能使李白受那么好的教育，也很难设想一个“争利于市”的富商会有那样高的品德和学问，会花那么多精力教育子女，从李白的成长只能说明李父是一个文化修养很高的人。
(二)从李白同时代人的记载看李白父亲的情况。魏颢是李白很要好的朋友，两人曾同游广陵、金陵，亲如兄弟，无话不说，李白对魏颢很信任，“尽出其文，命颢为集”。李白健在时，魏颢编出了《李翰林集》，虽然在序中对李白家世说得很简单，但也应当引起我们的重视。他说：“白本陇西，乃放形，因家于绵。身既生蜀，则江山英秀。”这里是说李白的祖籍在陇西，其父“乃放形，因家于绵”，李白生于蜀。“放形”即“放浪形骸”，指不受封建礼法拘束，看破功名利禄的隐士。如《金史·元德明传》：“元德明……布衣蔬食，处之自若……放浪山水间，饮酒赋诗，以自适。”再如《晋书·郭璞传》：“无岩穴而冥寂，无江湖而放浪。”可见“放形”或“放浪形骸”的意思是不求功名富贵摆脱名羁利锁，纵情于山水之中，这与“争利于市”的大富商毫无共同之处。
“范序”记载李父“神龙初，潜还广汉，因侨为郡人，父客以逋其邑，遂以客为名，高卧云林，不求禄仕”。这段记载来自李白之子伯禽手疏，当然是真实可靠的，这里非常清楚地说明李白之父是一位“高卧云林，不求禄仕”的隐士。“潜还广汉”，“逋其邑”，“以客为名”也就是为了躲避尘世之扰，专门找了清廉乡(汉代属广汉郡)这样一个十分偏僻的地方隐居。这个“客”明明是“逋客”，不必一定如陈寅恪先生解释为“客商”。“逋客”也就是避世的“隐者”，如耿玮《赠韦山人》诗云：“失意或逋客，终年独掩扉。”
李白逝世不久，于邵在李白故里立了一块碑，明代曹学佺《蜀中名胜记》提到了这块碑的内容：“白本宗室子，其先避地客蜀，居蜀之彰明，太白生焉……梓州刺史于邵作，李白碑在县之宁梵寺之门下”。“避地客蜀”就是说迁居到偏远的西蜀以避祸患。如《后汉书·许劭传》：“方今小人道长，王室将乱，吾欲避地淮海，以全老幼。”从“避地”的意思来看也只能说明李白之父迁到西蜀清廉乡隐居。
李白之父非富商，那他又是以什么为生？据《彰明逸事》载：李白“常牵牛过堂下”，又在吟诗中以“牵牛星”自居，他在少年时还写过一首《咏石牛》诗：“此石巍巍活像牛，埋藏是地数千秋，风吹遍体无毛动，雨滴浑身似汗流，芳草齐眉弗入口，牧童扳角不回头，自来鼻上无绳索，天地为栏夜不收。”此诗对石牛刻画生动，可见少年李白与牛打过不少交道。李白故里世代流传着少年李白放牛的故事，还有“放牛坪”、“牛踩石”等遗迹。那么他家应当是从事农业生产的。他的父亲隐居在只有农业的青廉乡，不从事农业又做什么呢？因此李白之父应当是一个半耕半读的陶渊明式的隐者。他的土地又从何而来呢？唐代前期实行均田制，鼓励人民从人多地少的窄乡迁往人少地多的宽乡，昌明县当时仅有两万人口，属地广人稀的宽乡，李白一家是可以得到一份土地的。靠农业为生，半耕半读、生活当然是拮据的，而李白正是在这种艰苦的家庭环境中，在父亲的教育下，以“铁杵磨针”的毅力，奋发努力，长大成才。
我们弄明白了李白之父是一个文化修养很高的半耕半读、放浪不羁的隐士，对李白的思想、性格的形成就很容易理解了。父亲对儿子的影响总是巨大的。李白学问渊博，放浪不羁，敢于傲视权贵，鄙薄富贵荣华，同情劳动人民，酷爱游山玩水，赏赞陶渊明之类的隐者，以及功成身退的思想等等，都是受到了他父亲的影响。