李白在《上安州裴长史书》中说：“昔与逸人东严子隐于岷山之阳，白巢居数年，不迹城市，养奇禽千计，呼皆就掌取食，了无惊猜。广汉太守闻而异之，诣庐亲睹。因举二人以有道，并不起。此则白养高忘机不屈之迹也。”李白说他隐居于“岷山之阳”，究竟在哪里？郭沫若《李白与杜甫》一书中的“李白杜甫年表”确定“岷山之阳”在青城山，隐居时间在开元十年至十二年，李白22—24岁时。葛景春又认为“岷山之阳”在三台长平山安昌岩，东岩子就是赵蕤。其实，杨慎早就指出，“岷山之阳则指康(匡)山，杜子美赠诗所谓‘匡山读书处’，其说见晏公《类要》，郑谷诗所谓‘雪下文君沽酒市，云藏李白读书山’者也”。杨慎的看法当然是对的，从地理位置上看，匡山正是“岷山之阳”，岷山主峰在平武与松潘交界处雪宝顶，山脉绵延于川甘两省，“蜀以山近江源者通为岷山”，“岷山跨古雍、梁二州，自陕西巩昌府岷州卫以西，大山重谷，谽谺起伏，西南走蛮菁中，直抵四川成都府之西境”。大匡山正是南北走向的岷山山脉中的一座山，北距岷山主峰雪宝顶只有一百多公里，不论从“山之南为阳”或“向日为阳”两种意义来说，大匡山都可称之为“岷山之阳”。《江油县志》(光绪版)云：“郡治之北，有大匡山焉。在唐书，为岷山之阳。”李白说他隐居时，曾被“广汉太守举二人以有道”，广汉是沿用汉代旧名，绵州是汉代广汉郡的腹心之地，梓潼、涪县(绵阳)曾是广汉郡治所在地，因此广汉太守即绵州刺史，而大匡山正是其管辖范围之内。这位绵州刺史不可能跑到非他管辖的蜀郡青城山去推举人才。宋朝的人都说李白曾隐居于匡山。匡山上的《中和大明寺住持碑》叙述了大匡山上的大明寺兴建于唐贞观年间，到“唐第七主玄宗朝翰林学士李白，字太白，少为当县小吏，后止此山，读书于乔松滴翠之平有十载”。《谪仙祠堂碑》云：“匡山，唐谪仙之祠堂在焉……杜甫所谓匡山读书处岂其是耶？其迹显然，历历可考，则匡山遗迹，能信之可也。”“旧宅碑”也说：“先生旧宅在青莲乡，后往县北戴天山读书。”《彰明逸事》说：“太白……隐居戴天大匡山……今大匡山犹有读书台。”戴天山和大匡山上的李白遗迹有多处，而青城山上无一处李白遗迹，也无一首李白咏青城山的诗。《青城山志》明确说：“蜀中传为李白读书处所在，非只一地，更不得附会李白遗址于此山。”总之，有确凿的证据证明，李白隐居读书处在大匡山，不在青城山。
李白自叙的隐居岷山之阳是不是指三台长平山呢？与他同隐的东岩子是不是赵蕤呢？否。《彰明逸事》说得很清楚：“太白恐弃去，隐居戴天大匡山。往来旁郡，依潼江赵征君蕤……太白从学岁余，去游成都。”隐居大匡山与到三台拜赵蕤为师是分别叙述的两件事。李白说在岷山之阳与东岩子“巢居数年，不迹城市，养奇禽千计”。他与东岩子并不是师生关系，时间是“数年”而不是“从学岁余”。长平山是在当时的蜀中第二大城市梓州城附近的一座小山，不可能“不迹城市，养奇禽千计”。绵州刺史(广汉太守)也不会跑到梓州刺史眼皮底下来推荐李白。长平山距岷山甚远，是浅丘陵，不能称之为“岷山之阳”。东岩子是“逸人”，就是从未被皇帝征召过的隐士，而赵蕤是被皇帝征召的隐士，故称“征君”，李白在寄给赵蕤的诗中就称之为“赵征君”，与东岩子显然是两个人。从时间来看，李白与东岩子同隐大匡山在去梓州拜赵蕤为师之先。据《唐大诏令集》载，开元四年(716)七月下诏“宜令各巡本管内，人有清介独立，可以标映士林，或文理兼优，可以润益邦政者，百姓中文儒异等，道极专门，或武力超伦，声侔敌国者，并精访，具以名闻”。下这道诏书时，李白已在匡山隐居一年多了。“养奇禽千计，呼皆就掌取食，了无惊猜，广汉太守闻而异之”，把李白与东岩子看成了“道极专门”的人才，想把他们推荐给皇帝，表演驯鸟绝技。胸怀远大政治抱负的李白对此推荐当然不屑一顾。后来又才去梓州拜师，学经邦治国之道，那应当是开元六年(718)。总之，李白自叙的隐居岷山之阳，不在三台长平山，而是江油大匡山。
北宋乐史编撰的《太平寰宇记》卷八四“龙州”条下云：“大匡山在州南八十里，高九百丈，阴洞潜穴，气蒸成川，有飞泉下流，一百里入剑州阴平合白泽水。”宋朝龙州州治在今平武县南坝镇，“大匡山在州南八十里”肯定在今江油境内，不是在南面二百多公里的三台长平山，更不是在青城山。“高九百丈”，应合二千多米，与大匡山背靠的戴天山差不多。“阴洞潜穴，气蒸成川，有飞泉下流”。在大匡山下有白鹤洞，洞中的阴河从洞口流出，形成飞泉，下泻于老龙潭，老龙潭就是百汇溪的源头，百汇溪流入平通河(即雍村河)再汇入涪江。不过该条目说：“大匡山在州南八十里……有飞泉下流，一百里入剑州阴平合白泽水。”似应指平武、江油交界的藏王寨，藏王寨在南坝正南三十多公里，大匡山在南坝南偏西约六十公里。北宋的阴平县在今江油小溪坝、厚坝一带，潼江有一支流从藏王寨的白阳洞流出，约三十公里在阴平村(即古阴平县治所在地)附近汇入潼江。也可能李白在来往江油时，曾游过或在藏王寨住过，《太平寰宇记》认为就是李白隐居的大匡山。其实大匡山与藏王寨相距不远，可以相互眺望。《大清一统志》、《龙安府志》、《江油县志》、《彰明县志》等都肯定大匡山在江油县西(当时县治在今江油武都镇)，彰明县之北，虽里程有出入，但方位是肯定的，不能因各种记载的里程小有出入，就根本否认大匡山在江油境内。
李白隐居读书处除了大匡山还有一个小匡山，《彰明县志》云：“小匡山，县西三十里，亦名读书台。孤峰秀拔，宛如文笔，李白尝读书于此。”《江油县志》(光绪版)云：“读书台有二，一在县西大匡山，一在县南点灯山，皆太白读书处。”小匡山位于青莲乡与大匡山之间，李白在往返于老家与大匡山之时，在小匡山小住并读书，在这里留下遗迹和传说。小匡山之所以又叫点灯山，民间流传着这样的故事：李白在小匡山上刻苦读书，常常挑灯夜读到天明，周围几十里都能看到山上灯火，故把小匡山叫点灯山。早在清乾隆年间就建有纪念李白的太白祠，门上有“古读书台”匾额一道，正殿塑李白像。光绪年间又重修扩建，有殿宇三重，后残败。今存古建筑有石塔一座，实际上是化字库，读书学子烧废字纸之处，塔上对联是：“倒笔写天，气贯星斗；举杯邀月，诗惊鬼神。”这的确是李白精神的写照。小匡山上还有李白晒书坪、书箱石等遗迹。
李白主要隐居读书处是在大匡山，因而大匡山上李白的遗迹更多，纪念性建筑也更宏大。大匡山在唐贞观年间由长眉僧骇智兴建了一座佛教寺庙大明寺，后因李白曾在此读书而出名。唐僖宗中和年间“敕赐中和大明寺额”，进行扩建，简称中和寺。宋代再次扩建庙宇，并建了太白祠。这时因避赵匡胤之讳，改大匡山为大康山，从此一山有两名，至今大匡山所在的乡镇仍名大康。据北宋末的“祠堂记”称：“唐谪仙祠堂在焉……山旧有读书台，其侧有僧寺曰大明寺，名存实亡，废久不治，宣和己亥之仲秋(1119)，命鸠材作屋四十椽，前敞轩楹，中设绘像，英灵似在，美哉，佳哉！吾乡盛事，庶几不泯也。”这说明在北宋末年之前已有谪仙祠，北宋末废而重建，后明清时期仍在重建、扩建。清光绪年间，龙安知府蒋德钧在大明寺边兴建匡山书院，筑殿三重，前有文昌殿，后有太白殿，中有书院讲堂，还有双桂堂、邀月亭等建筑，共九个院落，一百多个房间，常住师生数百人，成为匡山的极盛时期。1958年“大炼钢铁”，匡山树木伐光，寺庙书院拆毁，成为光秃秃的荒山。20世纪80年代以来封山育林，树木逐渐成林，在大明寺废址上又新建一座匡山亭。当地百姓捐资，重建了太白殿，大匡山尚存饲鹤池，为李白吟《别匡山》之处。大匡山的佛爷包之上有太白洞，相传李白曾在洞中读书。
李白在匡山隐居期间的主要活动是读书，创作诗赋，练剑术，不时游览名山，求仙学道，往来旁郡，寻师访友。李白自述：“十五观奇书，作赋凌相如”(《赠张相镐》)，“十五学神仙，仙游未曾歇”(《感兴》)，“十五学剑术，遍干诸侯”(《上韩荆州书》)。“十五”不必拘泥于十五岁那一年，而是指十五岁上匡山后开始的活动。他的这些活动对他一生都产生了重大影响。
李白在匡山以铁杵磨针的坚韧精神勤奋攻读，博览群书。他自己也说：“颇常览千载，观百家”，“常横经籍书，制作不倦”。
从李白的诗赋中可以看出，他不仅研究了诸子百家的学说，还熟读了《史记》、《汉书》、《三国志》、《诗经》、《楚辞》、汉魏《乐府》等，对于道教、佛教的经典也很熟悉，真可算得上“读书破万卷”。李白勤奋学习的故事，在他的故乡世代流传，凡是李白停留过的地方，都有李白刻苦攻读的传说。“天才出于勤奋”，李白之所以在诗歌创作上取得辉煌的成就，正是因为在青少年时代勤奋学习，刻苦锻炼，打下了坚实的基础。《千一录》云：“太白读书匡山，十年不下山，浔阳狱中犹读留侯传。以彼仙才苦心如此，今忽忽白日而嘐嘐古人，是自绊而希千里也。”此话说得很有道理。
“五岳寻仙不辞远，一生好入名山游”。李白的这种思想性格，是在第一次隐居时形成的。李白的青少年时代正是统治者大力提倡道教之时，开元二年，唐玄宗置翰林院招徕隐士，其中就有不少是道教徒。玄宗还采取了许多措施，在政治上、社会上提高道教的地位与声势，使道教得以大大发展。李白生长的川北一带，本来就是道教的发祥地，东汉顺帝年间，道教的创始人张陵创立的五斗米道首先流行于川北汉中等地。“陵死，子衡行其道。衡死，鲁复行之……鲁雄踞巴汉垂三十年”。李白的故里自东汉末，道教一直十分活跃，在风景秀丽的群山之中，散布着一些道观。李白故居对面的紫云山，又称紫山，峰峦俊秀，林木茂盛，位于江油市西南香水乡的盘江之滨，隔盘江与青莲遥遥相望，距陇西院十公里，也是江油、安县、北川的界山，长约11公里，宽约3公里，面积30平方公里，主峰海拔1099米。唐代山上就有一座香火很旺、闻名遐迩、颇具规模的道观，据宋人魏了翁《紫云山崇仙观记》云：“其阙则为之始殿，为黄篆宝宫……古松立于庭者，巉岩老硬，盖不知年。而其问所谓黄篆宝宫，则世传为唐开元二十四年神人由他山置于此者也，宫之三十六柱皆檀木，铁绳隐迹，至今不毁。”李白《题嵩山逸人元丹邱山居》：“家本紫云山，道风未沦落。”王琦《李太白全集题嵩山逸人元丹邱山居》注云：“紫云山在绵州彰明县西南四十里，峰峦环秀，古木樛翠，地理书谓常有紫云结其上，故名。岗来自北为天仓，为龙洞；其东为风洞，为仙人青龙洞，为露香台；其西为蟇颐，为白云洞；其南为天台，为帝舜洞，为桃源溪，为天生桥。有道宫建其中，名崇仙观。观中有黄录宝宫，世传为唐开元二十四年神人由他山徙置于此。宫之三十六柱皆檀木，铁绳隐迹在焉。此山地志不载，宋魏鹤山作记，载集中。太白生于绵州，所谓‘家本紫云山’者，盖谓是山欤？”李白曾上此山寻仙访道。
李白第一次隐居期间就是以匡山为基点，游览附近名山，求仙学道。从李白在故乡留下的诗篇中可以看出李白曾到过戴天山、太华山、窦圌山等地。太华山与大匡山为同一山脉，大匡山在南，太华山在北，两山紧紧相连。据清道光《龙安府志·山川》卷二：“太华山，在县西北四十里，三峰奇秀，有似西岳，上有太华观。”《龙安府志·人物》卷八：“唐，毛真人在太华山修炼，道成仙去，今太华观乃其遗迹。”清光绪《江油县志·坛庙》卷十三：“登真观(即太华观)，在太华山上。有三峰状如华岳，相传毛真人修炼处，改名登仙观。”可见太华山在唐代已经是道教名山，满山苍松翠柏，山溪潺潺，飞泉道道，清幽秀丽。太华观就深藏于林荫深处，观后有毛真人洞，幽深莫测。李白隐居大匡山到此山寻仙访道，写下了《太华观》：“石磴层层上太华，白云深处有人家。道童对月闲吹笛，仙子乘云远驾车。怪石堆山如坐虎，老藤缠树似腾蛇。曾闻玉井今何在，会见蓬莱十丈花。”描绘了太华仙境。李白在这样的环境中长大，不能不深受熏陶感染，所以他“十五游神仙，仙游未曾歇”。
李白在隐居大匡山期间“往来旁郡”，开元六年往梓州长平山拜赵蕤为师，“从学岁余”，开元八年春拜谒益州长史苏颋，随后下渝州，拜访渝州刺史李邕，后游峨眉又回匡山隐居。
李白在隐居匡山期间还到过龙州江油郡江油县，时县治在今平武县南坝镇。从匡山去南坝只能溯涪江而上，在进入涪江峡谷口时曾游了两岸的溶洞，至今还流传着“太白洞对灯笼洞，灯照太白把书诵”的民谣和传说故事。一百多里的涪江峡谷曾是邓艾伐蜀经过的阴平古道的一段，以二郎峡为代表的涪江六峡，山高谷深，江流湍急，峭壁摩天，栈道凌云，李白正是在这段艰苦的行程中，积累了《蜀道难》的素材。李白在江油县访了县尉，留下了《题江油尉厅》：
岚光深院里，旁砌水泠泠。野燕朝官舍，溪云入古厅。
日斜孤吏过，帘卷乱峰青。五色神仙尉，焚香读道经。
这首诗展示了人与自然和谐相处的意境，歌颂了县尉无为而治的道家精神。北宋大书法家米元璋曾书写此诗并刻于石壁上，后又翻刻成碑，今仍存于江油李白纪念馆。该诗中写的“旁砌水泠泠”，至今泉水犹存，叮当作响，故名叮当泉。叮当泉上有太白读书台，至今尚存“太白台”古碑一块，为宋代所刻。
李白经金牛古道游览时，途经梓潼五妇山，即古蜀国五丁力士拽蛇，以至“地崩山摧壮士死”之处。其上两公里即文昌祖庭大庙。
李白肯定到过剑门关，他写的《送友人王炎入蜀》、《剑阁赋》、《蜀道难》都描写了剑门关。剑门关是古今闻名的雄关险隘，属四川省广元市剑阁县。关口为大剑山的一个V形山口，扼于川陕公路上。北距广元城区南五十公里，南距成都三百公里。大剑山倚天如剑，峭壁连绵，横亘似城。山之中断处，两崖相对如门，故名“剑门”。剑门关为历代军事要塞。后人为纪念李白、杜甫这两位伟大诗人都先后游过剑门关，故在关上曾建过李杜祠、思贤楼等，宋祝穆《方舆胜览》卷六七《剑门关·楼阁》载：“思贤楼。在水门上。有张孟扬、李太白、杜子美、柳子厚画像。因以为名。”又卷六六载：“李杜祠堂。按剑门题诗以太白、子美为重，而世未有并祠之者。会从李参预壁得所赐阜陵御书《蜀道难》，又从李左史得赵忠定汝愚大书《剑门》诗，因建祠，刻二诗于前，榜其堂曰‘文焰’，取韩退之诗语也。”王象之《舆地纪胜·隆庆府古迹》、明《大明一统志》卷六八“保宁府”、曹学佺《蜀中广记》卷二六都有同样的记载。