乾道八年（1172年）十一月二日，陆游怀着怅惘的心情，带着家眷离开汉中，前往成都。“渭水岐山不出兵，却携琴剑锦官城。”（《即事》）一位决心驰骋沙场的豪杰志士，被迫脱下身上的战袍，放下手中的杀敌武器，离开战斗岗位，到后方去做一名无所事事的“闲官”，又怎能不感到痛苦和愤慨呢？当陆游在濛濛细雨中，骑着毛驴，经过剑门关时，不禁发出了深沉的感叹：
衣上征尘杂酒痕，远游无处不消魂。
此身合是诗人未？细雨骑驴入剑门。
——《剑门道中遇微雨》杀敌报国的机会来到了，又迅速地失掉了；收复中原的希望出现了，转眼间又破灭了。陆游在深深的失望和愤懑中，对自己未来的生活道路产生了疑问：难道我这一生注定了只能做一个驴背行吟的诗人吗？他不愿意放下手中的武器，但朝廷无意北伐，他也无可奈何，只得愤愤不平地离开了前线。
残冬时节，陆游在萧瑟的寒风中到达成都，开始了他漂泊巴蜀的生活。名义上，他担任的是成都府安抚使参议官，但实际上这只是一个空衔，没有具体的工作。陆游用诗句描写当时的处境是：“冷官无一事，日日得闲游。”（《登塔》）被迫撤离前线，对陆游的打击已经很沉重了，在成都无所事事，更使他感到消沉。于是，陆游打算全家在成都稍事停留后，就离蜀东归，回到家乡过隐居生活。正当他准备买船顺江而下时，又被任命为蜀州（今四川崇庆）通判。乾道九年（1173年）春天，陆游离开成都去赴任。到了蜀州，生活依然闲闷无聊，只好以赏花、饮酒、赋诗来消磨时光。这一年的夏天，陆游又来到嘉州（今四川乐山）任代理知州。嘉州为蜀中的名胜之所，青衣江、大渡河、岷江在此汇合，山明水秀，风光佳丽，还有很多文物古迹。陆游很喜欢这里，常常登山临水，饱览这里旖旎的自然风光，尤其是岷江左岸的凌云山和大佛寺一带，更使他流连忘返，赞叹不已。
除了游览风光，陆游在这一年的八月二十二日，还参加了一次盛大的军事检阅。他虽然只是代理知州，但对有利于国防的工作总是很积极热情。陆游穿上军装，骑着骏马，检阅着一队队的蜀中健儿。挥戈杀敌、澄清中原的伟大理想又在鼓舞和召唤着他。诗人兴奋地写道：陌上弓刀拥寓公，水边旌旆卷秋风。书生又试戎衣窄，山郡新添画角雄。早岁枢庭虚画策，晚游幕府愧无功。草间鼠辈何劳磔，要挽天河洗洛嵩。
——《八月二十二日嘉州大阅》陆游在嘉州的生活是丰富的，心情也比初离南郑时好多了。但每每在夜深人静的时候，他就会想起当年学剑游侠和从戎南郑的生活，想起战友们一片忠心、为国献身的豪情壮举。当他想到不能在前线杀敌卫国，只能在蜀中流连光景、虚度岁月时，就会感到无比的痛苦和悲哀。在这时，陆游往往打开大散关的前线地图，注目观看，或者干脆拿着军刀，来到郊外的一座小山上尽情挥舞，以抒发内心的愤懑，更多的时候，他用诗篇来抒发自己的情感。陆游在嘉州所写的爱国诗篇有很多，著名的有《观大散关图有感》《金错刀行》《闻虏乱有感》《言怀》《胡无人》等。这些诗篇大都写得慷慨激昂，表现了陆游对敌人的蔑视，对争取抗金胜利的信心，艺术感染力都比较强。
陆游少年时就很喜欢唐代边塞诗人岑参的作品，认为岑参是可与李白、杜甫并称的一位大家。岑参曾做过嘉州刺史，这一带还流传着他的一些遗诗。陆游来到嘉州后，把这些诗篇搜集起来，编为《岑嘉州诗集》，并亲自作跋付印。他还在嘉州官舍的西斋小山堂的墙壁上，画了一幅岑参的像，以表示崇敬怀念之情。陆游推重岑参，主要是由于岑参从军西北时所写的一些气魄雄伟、满怀豪情的边塞诗，引起了他的共鸣。陆游多么希望能像唐代边塞诗人那样，随军出征，驰骋疆场啊！
淳熙元年（1174年）春天，陆游离开嘉州返回蜀州，以通判的身份代理知州。当权者对他毫不重视，调来调去，名分不定，陆游当然就无法有所作为。他对自己所处的地位感到非常可笑，但又摆脱不了官场的羁绊，心情是十分矛盾的。可做的事情既然不多，陆游只好依然把光阴消磨在湖山禅林之间。蜀州的东湖和西湖，城外的翠围山、化成山，以及一些著名的寺院，都是陆游栖迟吟咏之所。他表面上过着悠闲舒适的生活，但内心却极不平静，常常在诗酒之余发出深沉的慨叹：“岂其马上破贼手，哦诗长作寒螿鸣？”（《长歌行》）杀敌的壮志，战士的豪情，像一支不灭的火炬，在他胸中燃起熊熊的烈火。清晨，他推枕而起，首先想到的是沦陷区的大好河山；深夜，他在灯下阅读兵书，眼前出现的是中原人民盼望宋军北伐的殷切目光。眼前事业未能如愿，陆游只得寄希望于未来。
淳熙元年（1174年）冬天，陆游又被派到荣州（今四川荣县）去代理州事。一家大小风尘仆仆，于十二月刚刚在荣州落脚，准备欢度除夕时，陆游又接到了四川制置使的通知，让他担任朝奉郎、成都府参议官，还催他尽快赶回成都赴任。一家人只得又匆匆踏上旅程。
淳熙二年（1175年）正月十日，陆游离开荣州回到成都。不久，范成大由桂林来成都任四川制置使。范成大字至能，号石湖居士，也是当时著名的诗人，和陆游是老朋友。现在虽然二人地位不同，但他们之间的情谊很深，又都喜欢作诗，所以公事之余，他们常常在一起饮酒赋诗、唱和赠答，成为一时佳话。可是再悠闲的赏花、饮酒、听歌、观舞也无法消磨掉陆游心中壮志难酬的苦闷，他只是把随俗浮沉、纵酒寻乐的生活当成是对黑暗现实的一种消极反抗，而内心里，一直没有忘记国家的危难和自己的责任，就像他在诗中说的那样：“浮沉不是忘经世，后有仁人识此心。”（《书叹》）但不是每个人都能理解诗人的痛苦，陆游的一些政敌就毁谤他“宴饮颓放”，使陆游遭到免职。
陆游似乎已经预见到这一点，并没有为自己申辩，对自己受到的诋毁和贬黜，他只是付之轻蔑的一笑。他在成都近郊浣花溪畔租了几间房子住下，并开辟了一个菜园，躬耕其间。为了回应小人的诋毁，陆游索性给自己起个号叫“放翁”，以彰显他桀骜不驯的倔强性格。决心杀敌报国的志士，竟然成为了点缀风雅的诗人，陆游感到十分茫然和愤懑。他真想从此退隐山林，不问世事，但对国家民族的强烈责任感，又使他打消了这种念头。陆游在成都的岁月，大半都是在这种矛盾和苦闷的心情中度过的。
淳熙五年（1178年）的春天，陆游接到朝廷的诏令，让他回京等待复职。据说，这次起用，是因为陆游在蜀中所作的诗传到了临安，宋孝宗读后很感动，才有了这道诏令。这一年的二月，正值春暖花开时节，陆游离开成都，乘船东归。在告别巴山蜀水之际，诗人颇有恋恋不舍之情。川陕九载，虽未找到报国的机会，未实现收复中原的理想，但陆游的诗歌创作发生了巨大的转变。为了纪念这段难忘的岁月，后来，陆游将他的诗集定名为《剑南诗稿》。