杜甫上年便因为房琯说话，招得肃宗不快，这一来越发触怒，几乎把他下在牢里，从此不再看重杜甫。房琯也被罢免，出为邠州太守而去。杜甫被人看成是房琯党羽，由此便蹭蹬下来不提。
杜甫回京之后，仍任左拾遗，每日去往门下省承直，以前所交僚友知好重又欢聚在一起。最可喜是好友岑参新任右补阙，在中书省任职，日常相见，同在一起作那文酒之欢，所得官俸也颇够用。按说日子过得满好，偏偏遇上二次大乱之后关辅大闹饥荒，比上次灾情更重，又因房党为时所嫉，在朝不久仍又出为华州司功。
杜甫在华州司功任上过了半年，渐觉无聊。这日忽起思乡之念，想趁空闲回到洛阳探望一下他战后的故乡，一个人背着一个小行李卷，往东走去。行经潼关道上，见两边都是山崖石壁，十分高峻。登高一望，见来路是条山谷，前面不远便是潼关。一路都是山崖峰峦，山上下到处都有黑白点闪动，耳听喧哗呐喊和开山击石之声隐隐传来，空谷回音甚是震耳。等到下面，再往前走没有几步，便又听后面车马行人奔驰吆喝之声接连不断。停步一看，后面来了好些满载石块的骡马牛车，还有好些人三五一伙，分抬着大小山石，负重吆喝而过。一个个累得气喘吁吁，头上汗珠直往下滴，好似吃力已极，不胜劳苦。最奇是还有几个老年妇女也在其内。
再往前走，见有好些人正在开山取石，地下搭着很简单的草棚，老少都有，吃的东西粗糙非常。向人打听，才知内中杂有草根树皮，有的业已饿病，躺在棚里，呻吟不已。一个为首的官吏正在往来查看，不时向众喝骂。杜甫想起：“自从那年哥舒翰被安禄山贼兵打败，潼关失陷以后，朝臣要上表章修建潼关，朝廷均未答应。此时忽然这样大举，又当年荒时节，岂不多累良民遭殃！”便把那官吏拉到一旁，问他何故。那官吏说：“自从安阳一战我军大败，郭节度决计筑城防贼，因为年景不好，筑城的十九都是兵将，征用的民夫并不甚多。又因我军粮食不足，这应役的丁壮必须自带干粮，由那舍不得亲人的全家跟来，闹得这些民夫除开山取石筑城之外，还要到处挖掘草根树皮，所以一个个都那么苦弱不堪。”
杜甫听了好生愤慨。先到关前仔细察看了一阵形势，随到前面人家借了纸笔，写出了他的名作“三吏”的头一篇--《潼关吏》。
杜甫因听传言，陇西一带年景较好，容易求食，便和家人商计，带了全家往西走去。本意只要找到一个稍微能够不愁吃的所在，便安居下来。先到秦州，连找了几处，想在西枝村建一草堂暂居，没有如愿。呆了些日，又往西走。一路登山越水，苦受颠连，勉强挨到同谷县，才得把脚停住，歇息下来。可是全家衣食还是艰难，老想置两亩薄田自己耕种，终未如愿。迫于无奈，于乾元二年十二月一日又由陇右西行，想往成都逃荒。最后辗转跋涉，拖着一家人到了剑门，走上入川的栈道。又行了两月，连经许多艰苦跋涉，才得到达成都。总算严武念旧情长，相待颇优。不久，仗着严武相助，在成都西门外浣花溪上经营了一所草堂，又置了几亩田，这才安居下来。有时并往附近各县走动一下。日常无事便和当地田夫野老交往，料量晴雨，共话桑麻，倒也安然自得。严武还特地到浣花溪看望他几次，有时也把杜甫接到家中住上些日。本来相处甚善，只是这宾主二人一个气度较小，不能容物，一个性情刚猛，表面上交深情厚，无异骨肉，因为杜甫过于简略，不拘小节，说话又太直率，严武有时忍耐不下，便气在心里。二人还爱互相取笑，往往把话说僵，彼此都有些难堪，心中不无介介，只是二人都未发作出来。
代宗宝应元年，严武奉召还朝，杜甫送他到了绵州方始作别。杜甫道：“我依人作嫁，全靠老弟相助照应才得安居。季鹰一走，我又漂泊无依了。”
严武见他说时面有泪容，神情凄苦，心中老大不忍，便拉着杜甫的手笑道：“我真舍不得离开这天府之国。我今此去还要设法回来，不久当可重逢，何必难受呢？至于子美兄的今后生活，我已为你想好主意，给梓州刺史章彝写了一信，托他照应。我走之后，你可到梓州去见他谈谈，看是如何，自作打算。我想是不会有错的。”随命人把信取来，交与杜甫。
杜甫见那信写得十分诚恳，忙即谢了。回到成都住了几天，便到梓州去见章彝。初意严武的信写得十分有力，章彝不会不管，哪知章彝武人粗野，双方气味本不相投；又因严武御下严厉，以前叱骂过他，心中不快，对于杜甫并不怎优待。杜甫不久又把家眷接去，因为互不投机，全家又迁往阆州，住了半年，穷愁抑郁，苦不得意。正在难受，忽然得报，严武再镇西蜀，不久就要回任。当时高兴已极，忙又迁回成都等候。到了广德二年三月，严武果然回到成都，并且上表保奏杜甫为节度参谋、检校工部员外郎。良友重逢，又得了新的官职，彼此都很欣慰。杜甫由此每日便在严武幕府里任职，只把家眷迁回浣花溪草堂，自己有时也回家去住上些日，栽花种竹，料理耕稼，生活重又安定下来。
严武本就量小性暴，不能容物。先以为章彝有自己亲笔的信，必能爱屋及乌，优待杜甫。回到成都，第一件事就是查问章彝对待杜甫如何。因听人言章彝对杜甫很冷淡，一点没照顾，不由有气，恨在心里。本来就有杀之之心，杜甫偏又心直口快，严武问时照实说出。当年天又大旱，杜甫写了一篇文章，名为《说旱》。大意是蜀中近年各州府县囚人太多，难免没有冤屈，应把轻罪的人释放回家等语。
这篇文章语太切直，严武看了已不大高兴。再把杜甫请去一谈，竟是梓州囚人太多，内中有好些无辜，越发激怒，当时要杀章彝。杜甫劝他不听，又道：“蜀中年年荒乱，徐知道刚刚平息，如何又杀部将？”
严武大怒，双方对吵了一阵。杜甫恐怕惹出事来，便走上严武的床，瞪目怒道：“严挺之一生忠厚，从不轻易伤人，竟会有你这样儿子！”
严武也气道：“你这杜审言的孙子知道什么？惹翻了我，连你也一齐杀！”
当时朋友相交，如提到对方祖父名讳最是无礼。这一来，二人全部有气，杜甫又说了几句负气的话，拂袖而去。
严武随即下令，把章彝召来，想把他和杜甫一起杀死。正在怒火上，杜甫偏不知趣，上书辞职，并且不等答复，也未和严武见面，独自回到草堂，来了个不辞而别。严武忍受不下，第二天便派人把杜甫抓来，准备连章彝一起杀死。军校隶役均已召齐，眼看就要下手，严母忽然得信，把严武喊到里面，说：“杜甫是你父亲的好朋友，你们交情又厚，不应下此毒手。”
严武素孝，再想起杜甫的学问和双方的交情，心便软了下来，连章彝也未杀。对于杜甫反用好言安慰，并派车马送回家去。杜甫越想越没意思，便辞了严武的幕府，安心隐居浣花溪草堂，双方也不再往来了。
当年春天，蜀中瘟疫流行，严武忽然染病颇重。杜甫重回幕府居住，日常陪他。可是严武的病始终没有起色，勉强挨到当年四月，还是病死。杜甫心里自然悲痛，等严武安葬之后，又回草堂。那后任节度使郭英乂武人粗暴，不喜文士，又认为杜甫是严武的人，心存歧视。杜甫当然不能再呆下去，只得回到草堂，还是种地，又过着穷困的日子。转眼交秋，又遇霖雨，杜甫枯坐草堂，甚是烦闷。这日早起，天刮大风，把草堂房顶上面的茅棚揭去，忙到门外一看，南村几个小孩正把茅棚卷起，往对面竹林中走去。杜甫急得跳脚大叫，直到声嘶力竭，小孩们理都没理，内中两个顽童反朝杜甫扮了一个鬼脸，然后大笑走去，气得杜甫直跳脚，回来拿着拐杖叹了一阵气，无法可想。晚来风吹雨打，越发凄冷，房顶又漏，床上本就不干，最爱的小儿子中午睡相不好，又把旧棉被踏碎了一大块，一会被褥全湿，不能安睡。心里有气，起来写了一首诗，便是那古今传诵的《茅屋为秋风所破歌》。杜甫勉强在家中住了半年，光景越过越艰难。正打不起主意，忽听人言，梓州太守章彝因感激他救命之恩，时常谈起，意思很好。
杜甫实在无法，只得往见章彝，打算试探一下。章彝果因人说严武去年虽要杀他，全仗杜甫力劝，耽搁了半日，被严母知道，才得无事。这次杜甫往投，虽不像上次那样冷淡，也没有十分优礼。又听人说新节度使郭英乂不喜杜甫，不敢亲近，相待只是一些虚文虚节、毫无实惠，日子一久，杜甫呆不下去，只得回家。忽听人言，好友高适新任西川节度。想起这是交情最深的好朋友，便带了全家前往投奔。初意这个竟比严武还要厚待得多，这后半生全有依靠。哪知事情不如人意，高适对他也只初见面时仿佛情热，日久还是冷淡下来。杜甫又呆不住，便把全家迁往云安。到了大历元年春天，又由云安迁往夔州。大历二年三月迁居赤甲，住了数月，勉强在朋友帮助下，在瀼西和东屯各建了一所草堂，置了点田，亲率家人躬耕，往来于瀼西、东屯之间。似这样过了不久，便率全家出峡南下到江陵，跟着又由江陵移居公安，成了浮家泛宅，没有一定住所。在公安还没有过冬，便迁往岳州。住到第二年正月，再迁往潭州。因慕衡州山水，便迁了去。住到夏天，实在热得难受，又回潭州避暑。到了大历五年四月臧玠作乱，杜甫想到郴州去投亲，没有走成，全家人在荆楚各地漂泊了一个时期，最后流寓到耒阳县。