原来，扬雄的高祖爷爷扬季曾以“明经”入仕，后来官至庐江太守。汉武帝穷兵黩武，又好游历，大兴土木，所耗钱粮巨大，百姓不堪重负。尤其地方豪强势力，拥有大片土地却经常偷逃朝廷税赋。扬季不忍心让一般百姓承担额外的税赋，便采取了一些整顿税赋的措施。这样就得罪了那些地方豪强。汉武帝元鼎二年（前115），扬季遭到庐江地方豪强支使杀手追杀，只好弃官逃命，带着一家人顺长江而上，选择了岷山之阳的郫县把一家人安顿了下来。做官险遭杀身之祸的扬季因此给子孙立下一个规矩：扬家子孙耕读传家，不得做官。这就是扬凯的爷爷、父亲和他自己都没有谋求做官而“世世以农桑为业”的原因。
那么，扬凯何以会动了违背“祖训”让儿子入仕求官的念头呢？这有几个方面的原因。
首先，扬雄的“神童”天赋，使扬凯觉得自己的儿子确实是一块以“明经”入仕做官的好材料。在他看来，郫县城里以治《易经》入仕的何武，天资远不及自己儿子；不让儿子入仕为官，那就太委屈儿子了。
其次，扬家单门独姓，人丁不旺，繁重的租税徭役使这个世代以务农为业的家庭已经难以维持。如果儿子能够入仕做官，不仅门庭有光，还可以减免徭役赋税，减轻家庭经济负担。
其三，在扬凯看来，曾祖爷爷扬季当年留下那样的“遗训”，是他“一朝被蛇咬，十年怕井绳”。此一时也，彼一时也，哪能因为据守“祖训”而误了自己天才儿子的大好前程呢？
可是儿子扬雄却不是这样想的。青年扬雄已经有了自己的一套人才观念和人生理想，其人才观念可以概括为以下几点：
第一，一个人的成名和成功，主要决定于他所处的时代，即通常所说的“时势造英雄”。他把从上古到现在的“英雄”和“成功人士”系统梳理了一下，如商周之际的宁戚，春秋时代的管仲，战国时代的侯赢 、邹衍、蔺相如，秦汉之际的范雎、蔡泽，以及汉代的娄敬、萧何、张良、陈平、叔孙通等，他认为，这些人的成功，主要是因为他们都赶上了那个“天下未定，人主争天下”的时代。当天下定于一尊之后，情况就完全不同了，他自己就处在一个“县令不请士，郡守不迎师，群卿不揖客，将相不俛眉；言奇者见疑，行殊者得辟”班固：《汉书·扬雄传》。的时代，真正有本事又有政治操守的人，是很难实现自己的人生理想的。
第二，他认为汉代“明经取士”的制度具有很大的欺骗性和虚伪性，被选拔进入仕途的人未必是真正的人才，即使是真正的人才也未必能够起到匡扶社稷的作用。因此，他说：“向使上世之士处乎今，策非甲科，行非孝廉，举非方正；独可抗疏，时道是非，高得待诏，下触闻罢。”同上。在扬雄心目中，具有卓越才干和政治操守的人，总是不为人理解、不被世道所容的，如孔子、屈原等杰出人物便是如此，所以他说“或横江潭而渔，或七十说而不遇”。同上。
第三，受严君平、林闾翁孺的影响，扬雄决定奉守安贫乐道、明哲保身的处世原则。他不仅从汉高祖刘邦初定天下之后，便疑忌帮他打天下的众多功臣，如诛韩信、杀季布等，就连萧何、樊哙等心腹至交也屡被怀疑而险遭诛戮这些历史故事中吸取教训，他更了解到，自汉武帝以来，朝廷中不少大臣惨遭杀害的血腥现象。萧望之是以“明经”入仕的儒臣，曾受到汉元帝的器重，官至卿相，也因朝中权臣倾轧，最终只落得“饮鸩自杀”的下场。汉宣帝时的霍光，不仅具有拥立新帝、辅佐幼主之功，而且勤于政事，办事谨慎，曾经专擅朝政、位极人臣，最终仍免不了被满门抄斩的可悲下场。这一桩桩一件件“伴君如伴虎”、官高必有险的故事，使他对入仕为官充满了恐惧，与其像高祖爷爷扬季那样弃官逃命，莫如像老师严君平那样，视官如敝屣。他后来说：“炎炎者灭，隆隆者绝……位极者宗危，自守者身全。”（《解嘲》）这应当是他年轻时不愿以“明经”入仕为官心情的真实写照。
扬凯虽然不能完全理解儿子，但是也觉得儿子的话不是没有道理，何况儿子这是在“谨遵祖训”呢！于是就只有长叹一声：“随你去吧！”四、蜀中游历
汉成帝建始四年（前29），二十五岁的扬雄开始了他在蜀中漫游的活动。
已经完全摆脱了入仕为官羁绊的扬雄，一方面感到轻松多了，另一方面，他也开始了对自己人生事业的规划。
最初，他想做一个像曾点那样的人，为社会上广大民众做一些切切实实的事情。这是因为受到《论语·先进》“曾点述志”故事的启发。故事大意是：孔子要弟子们谈谈各自的志向。子路说他能治理好千乘之国，冉求说他能治理好一个小国，公西华说他希望做诸侯们会盟时的司仪，曾点说他愿意在老百姓求雨的祭祀上做一个主持者。孔子对其他三个弟子的志向不置可否，唯独赞成曾点的志向。在扬雄看来，严君平的以卜蓍为业，也颇似曾点的志向，所以他愿意做曾点所愿意做的“小事”。
后来他改变了主意。他想起古训：“太上立德，其次立功，其次立言，此谓之三不朽。”以当今之势，“立功”绝无可能，但“立德”、“立言”不必倚仗权势，全在各人的努力。古人云：“读万卷书，行万里路。”想到自己读书已有“万卷”，但天下大事小事仅从书中得来，见闻实在有限得很。他想起了太史公司马迁。司马迁不仅“读万卷书”，曾“学《天官》于唐都，受《易》于杨、何，习道于黄子”；而且有“行万里路”的经历，他“二十而南游江淮，上会稽，探禹穴，窥九疑，浮于沅湘。北涉汶泗，讲业齐鲁之都，观孔子之遗风，乡射邹峄，阨困鄱薛彭城，过梁楚以归”，后来又“奉使西征巴蜀以南，南略邛、笮、昆明”司马迁：《史记·太史公自序》。。想到司马迁的成才之路，尤其是司马迁“行万里路”的经历，扬雄觉得自己实在只是一只“井底之蛙”。于是，他作出了“漫游蜀中”的决定。
扬雄漫游的第一站是成都。
对扬雄来说，成都是旧地重游。扬雄十八岁那一年，随严君平第一次来到成都，并且在成都结识了严君平的好友李弘。
扬雄跟李弘一见如故。李弘虽然学宗孔孟，儒学造诣很深，却“少读五经，不为章句”。由于“不为章句”，自然赢不到“明经”的声望，也就自断了入仕之路。但蜀郡太守仰慕李弘的道德与才华，竟征聘他为郡功曹（掌管记录功劳考查的小吏）。后来又以道德卓异，被举荐为益州从事（大致相当于四川省政府副秘书长）。李弘在成都官场和民间都有很高的声望和威信。《华阳国志》说他“处陋巷，淬励金石之志，威仪容止，邦家师之”，还记载了下面这个故事：李弘的儿子李赘，因为被人欺侮，防卫过当杀死了人。李赘被扭送到太守衙门，郡太守说：“贤者之子必不杀人。”竟然释放了李赘。
尽管州牧和郡守都很器重李弘，并且待他如上宾，但李弘仍然看不惯官场的虚伪，始终坚持按原则办事，还多次劝阻和抵制上司的不法行为，经常弄得上司非常难堪。上司们总是碍于李弘“大贤”的声望与情面，况且李弘是他们“请”来的而不是“应聘”招雇的，所以纵然难堪，也只有让他三分。对这种尴尬的处境，李弘自然心知肚明，加上他早就无心恋栈了，所以在州、郡衙门前后干了不到五年就坚决辞职不干了。
辞职后的李弘被“石室文学精舍”聘为五经教习。对李弘来说，这是一种“破格”任用，因为李弘是一个没有“功名”的儒生，相当于让一个没有大学文凭的人去教大学。扬雄第一次到成都的时候，李弘正在“石室文学精舍”担任教习。
在汉代的“五经”（《易》、《礼》、《诗》、《书》、《春秋》）中，李弘研究得最深透、讲解得最深刻的是《礼经》（后来分为《周礼》、《仪礼》、《礼记》三经）。扬雄对《礼经》的认识，很大程度上是受到李弘的影响。扬雄作为“旁听生”在“石室文学精舍”先后听了一年李弘讲授《礼经》，李弘博大精深的学问、严肃端庄的仪容、不畏权势的人格，给扬雄留下了极为深刻的印象。扬雄对李弘的崇敬，丝毫不亚于对严君平的崇拜，他在后来所著的《法言》中说：“仲元（李弘字仲元），世之师也。见其貌者，肃如也；闻其言者，愀如也；观其行者，穆如也。郸（但）闻以德诎（屈）人矣，未闻以德诎于人也。仲元，畏人也。”（《渊骞》）扬雄认为，李弘堪称世人师表，因为他是一个以自己卓越道德使人折服而敬畏的人。扬雄对李弘的崇敬，还因为李弘在处世上真正做到了“不屈其意，不累其身”，也就是说，李弘从来不做违背自己意志的事，从来不让名缰利锁牵累自己。扬雄对李弘的崇敬，还有更深层次的原因，有三点：第一，跟严君平、林闾翁孺“以道为宗，儒道兼修”的学术信仰不同，李弘是一个“学宗孔孟”的醇儒，而这跟扬雄自己的学术信仰完全相同；第二，李弘“少读五经，不为章句”，这跟扬雄“少而好学，不为章句，训诂通而已，博览无所不见”的学习兴趣完全一致；第三，李弘在处世上“不屈其意，不累其身”扬雄《法言·渊骞》。，这跟扬雄“自有大度，非圣哲之书不好也；非其意，虽富贵不事也”《汉书·扬雄传》。的处世态度，又是何其相似！
扬雄在“石室文学精舍”旁听学习的时候，认识了也在这里学习的杨庄。杨庄是成都一个富家子弟，但此人绝少纨袴习气，倒是不乏热心助人的侠义心肠。此人后来以“明经”入仕，但因“射策”考试不在甲科，所以只做了汉成帝的“值宿郎”（掌管皇宫夜间警卫事务的官），官阶虽然不高，但事关机要。此人后来举荐扬雄，对扬雄的命运有过较大的影响。
扬雄此次漫游，选择成都为第一站，其主要原因是为了拜访李弘，希望得到他的指点。
李弘非常支持扬雄漫游，他对扬雄说道：“天下之欲成就大事者，莫不书破万卷、路行万里。孔夫子周游列国：去鲁适齐，逐乎宋、卫，厄于陈、蔡，北游燕、赵，南下曹、郑，东至吴、楚。夫子之游，何其广哉！何其壮哉！如今天下一统，海内晏然，不必似夫子之惶惶矣。”李弘不仅支持扬雄漫游，还为扬雄提供了一个漫游的规划：争取用三年时间漫游益州，但须把蜀列为重点；先前蜀之七郡，当以汶山、广汉二郡为重点，次则犍为、越嶲。他还简单解释了如此安排的道理：“漫游是为了广见闻，奇风异俗自然是考察的重点。汶山郡为江源所在，又夷汉杂处、羌番为主，其异于中原文化、汉地风俗者多，故应以它为重点。广汉、犍为甚多俊彦豪杰之士，睹其故地，思其风采，能催人奋发向上，激励成才之志。越嶲乃蜀地南端，甚多蛮夷之风，足广见闻。再说，此四郡我有不少朋友，如有不便，还可托其关照。”
扬雄万万没有想到，李弘先生不仅非常支持自己漫游的计划，而且为自己考虑得如此全面和周详。扬雄后来在漫游中，上玉垒、攀蚕陵、历松潘、探江源、寻禹迹，历经艰难险阻，甚至生命多次受到威胁，但他丝毫没有退缩，表现了一种“虽九死而不悔”的大无畏精神。应当说，是李弘这位良师给了他巨大的精神力量。
扬雄漫游的第二站是绵竹。
汉代的绵竹是广汉郡的属县。扬雄选择绵竹有两个方面的考虑：第一，绵竹毗邻汶山，地近西羌，居民多杂蛮俗，是儒家文化与羌番文化的交汇区，极具考察价值；第二，听严君平先生说，与绵竹毗邻的什邡有一奇才，名叫杨宣，此人师从楚人王子张学习五经，师从河内人郑子侯学习天文、图纬，师从杨翁叔学习鸟言与灾异，是蜀中不可多得的人才之一。除此之外，绵竹又是由成都进入汶山郡探寻江源的捷径，漫游汶山时如遇困难，绵竹不失为可供进退的大本营。
扬雄在广汉郡的漫游历时一年多，足迹遍及广汉郡所辖雒县（广汉郡治）、绵竹、什邡、新都、郪县（今中江、三台、射洪各一部分地区）、广汉（今射洪、盐亭、蓬溪、遂宁等县的大部及安岳、潼南之一部分地区）、德阳等县，但在绵竹、什邡待的时间最长。
杨宣比扬雄年纪稍长，但待扬雄确实如同兄长待弟弟一样。两个青年人一见如故，都有相见恨晚的感慨。杨宣对天文、历法颇有研究，对落下闳的“浑天说”尤其感兴趣。扬雄第一次听到“浑天说”这个名词，杨宣关于“浑天说”的解说也引起了扬雄的兴趣和关注。杨宣还教给扬雄鸟言、图纬、灾异方面的知识，使扬雄眼界大开，增长了不少非“五经”所涉及的知识。杨宣也在扬雄这里学到不少新的东西。扬雄与杨宣交流《易》、《礼》方面的问题，他把自己从成都、临邛三位老师那里学到的知识，加上自己的心得体会一并与杨宣交流，使杨宣大有茅塞顿开的感受，也极为佩服眼前这位比他还要年轻的学友和客人。
杨宣后来以“明经”入仕，而且与扬雄同朝为官，但二人最终竟成陌路。杨宣在成帝时官拜谏大夫，以谏汉成帝立定陶王刘欣为太子有功，成为哀帝（刘欣）时代丁、傅外戚集团红人，先后任交州牧、河内太守、讲学大夫。这一时期，丁、傅与王氏两个外戚集团斗争非常尖锐，扬雄倾向于王氏集团，认为杨宣趋炎附势，加上二人地位悬殊，为避攀附之嫌，就跟杨宣断绝了来往。
扬雄漫游的第三站是汶山。
汉朝初期，“汶山”是郡级建制，宣帝时废除汶山郡，置绵虒、汶江、广柔、蚕陵等数县，归“蜀郡”管辖。这里主要是今天阿坝藏族自治州的地方，是所谓“夷汉杂居”地区。汉代这些地区的居民大多为羌人。照今天的说法，扬雄漫游汶山的路线，应当是从绵竹出发，经汉旺上九顶山，先到达茂汶，然后北上直到松潘；返回时，由松潘回到茂汶，再到汶川、绵虒，经玉垒山沿龙溪往下，到达银厂沟一带，然后经海窝子回到彭县、郫县。
两千年前的岷江上游地区，自然生态环境比现在好得多，山高林密，野兽成群。多亏杨宣帮他找的两个向导的帮助，扬雄才在历尽千难万险之后，终于完成了这次考察活动。
漫游汶山之后，扬雄一直在思考着一个问题：先秦史书很少关于“蜀国”的记载，而司马迁的《史记·五帝本纪》中，说黄帝的两个儿子：“青阳降居江水”、“昌意降居若水”、“若水”、“江水”都在蜀地；言“降居”，可见原先是住在山上的；这样看来，早期的蜀族应当就是住在岷山上的这些人了。于是萌生了要写一部关于“蜀族”历史的书的想法，这就是后来扬雄的《蜀王本纪》。
扬雄回到郫县家中，休整半年之后，又按当初的计划，先后游历了犍为、越嶲，大致相当于今天的宜宾、泸州、乐山三市的大部，以及川黔、川滇部分地区。这些地方是汉代所谓的“西南夷”。
在“西南夷”地区的考察，使扬雄看到中原文化与
少数民族文化之间的巨大差异，加深了他对儒家文化的理解和热爱。在扬雄一生有限的政治活动和文章著作中，竟然有不少涉及少数民族问题的内容，而且总是提倡用儒家的道德去感化少数民族，反对对他们随意用兵。其《方言》一书的著作，就包含了向少数民族地区推广儒家文化和让统治者了解少数民族地区的双重目的。应当说，这都跟扬雄青年时期曾经深入少数民族地区考察的经历有关。扬雄故里的“子云学校”