宾主五人畅饮谈笑到了掌灯之后，见楼上酒客越多，笙歌四起，杂以谐笑之声，十分聒耳。岑参、郑虔首先不耐，严武也觉声音嘈杂，难以畅谈，便说今日打来野味甚多，要请众人同到他的寓所，再作长夜之谈。
杜甫因岑参、薛据首先称妙，严武年轻，又最好客喜事，不愿扫他高兴，也就笑诺。侧顾郑虔面有难色，脸又通红，头上直冒热汗，知他先前穿得单薄，新买皮裘刚穿上身，炉火又旺所致。又想起他一清早在严寒中奔走了半日，到家还未坐定，便被自己拉来，此时难免疲乏，不等开口，便作为自己的意思，代向严武婉言辞谢。郑虔自愿回家，看他老妻儿女冬衣上身也未，乘机谢别，先自走去。
严武所居离旗亭甚近，连马也未骑，便陪了岑、杜、薛三人踏雪同行。严武虽非大富，这时光景比这几人都好，又当离年已近，酒食齐全，又是一个喜聚不喜散的性情，一同欢聚到夜间才罢。
第三日便是腊月二十七，杜甫和郑虔应约同去汝阳王府赴宴。
李琎虽觉郑虔是个才子，还不怎样，对于杜甫却是非常看重。第二日又单送杜甫好些丰酒果饼。杜甫本意去往奉天县省亲，这一来只好留在长安度岁了。
李琎所送酒食就多，严武又送了些年礼来。杜甫一个人自吃不完，便分送了好些给郑虔和岑参，下余和全旅社的人们一同分享。因孙宰等几个交情较深的人均已回家度岁，饭后觉着无聊，耳听隔院客房内呼卢喝雉之声，便去加入同赌，赌兴甚豪，赢了十来两银子，部分送给了输家，也没有要。开春以后朋友相识得越多，李琎时为揄扬，并常送他一些费用，严武也常相赠，有时写两首诗送给比较看得起的朝臣，在才名渐起之际，也能得到一些馈赠。旅食生涯居然不恶，也无须再要父亲接济了。
三月中旬，朝廷举行考试，杜甫满拟近来诗文比前作得更好，断无不取之理，不料徒劳无功，依然下第，杜甫先还以为主司无眼，不识真才，事后才知奸相李林甫妒忌贤能，一面暗嘱考官所有应考的人一个都不许中，一面却向朝廷去上贺表，大意说：“天子圣明，天下人才均受到朝廷重用，业已‘野无遗贤’。所有应考的人都是妄想干进的庸流，全不见有一艺之长。考官不敢使此辈滥窃朝廷名位，因此一人也未取上。”当今天子居然深信不疑。再一访问，如元结等富有才名的人物同样也未录取。心虽愤慨，无可如何。跟着接父亲来信，老病催归，不禁大惊，星夜赶往奉天县，杜闲业已卧床不起。不久，便病故在任上。杜甫自然哀痛万分。
葬父之后，家境越发困难，便将巩县原有的先人遗产留给继母弟妹，自回洛阳，将姑母当年所赠薄田和一些零星物件全数变卖，带了妻子移居长安，在杜陵左近盖了几间茅屋，买了几亩田地，自率家人耕种。另外还种上一些药草，准备卖来贴补家用。一面又按照着当时风气，作些诗文，去向朝贵们投送，以谋进取，或是求得对方一些赠送。这样安定的生活和不可必得的事自然要受到许多的困难挫折。何况这三年工夫，一些可以帮助他的人，不是在奸相排挤之下贬官外调，便是光景比他好不了许多。能够资助他的只有汝阳王李琎和驸马郑潜曜等有限两人。好友中严武已任太原府参军事。岑参出身孤贫，先任左补阙，因为人刚直，又富胆力，时常斥责朝中奸邪，得罪权贵，被改任为起居郎，俸给微薄，也不得意。总算郑虔的画已渐有人要，虽然润笔无多，依旧清贫，比初见时却好了些。并且只卖出一张画，必要来寻杜甫分用，或是快叙终日，畅饮一醉。对于杜甫不无小补，杜甫有了钱，自然也去寻他，这两个穷朋友彼此相顾，交情越来越深，都把对方认为穷途中的一种安慰，无话不谈。杜甫在长安住了四年，偶然也回洛阳去扫墓，看望亲友。
朝廷连年用兵，多开边衅，天宝初年虽然打过几次胜仗，全都得不偿失，并还加重了外族对唐室的仇恨。用兵的次数既多，壮丁越少，兵额自然不足，不得不把年纪渐长的百姓也强拉去当兵。征兵官吏十九横暴，甚至连老弱也被迫从军应役。长期战争造成了兵源的缺乏，兵的质量也由强转弱，由胜转败，空使万民茹怒，士气消沉，终于元气大伤，走上不可收拾的地步。这时，相隔安史之乱还差着好几年，在朝廷穷兵黩武、苦战不休的情况下，大量田园多被荒废，国力凋敝，民不聊生。李隆基一味贪恋酒色，浪废无度，上行下效，相习成风。奸相李林甫、杨钊（国忠）又都把持朝政，结党营私，贿赂公行，无恶不作，更给人民加深了严重的灾害。百姓们有家不能归，有地不能种，闹得疮痍满目，“野哭千家”，开元初期，“稻米流脂粟米白，公私仓廪俱丰实”的繁荣盛况，竟变成了一片呻吟悲苦之声！这和当时权臣贵戚们的尽量豪华、无穷享受、肉山酒海、早夜笙歌成了极鲜明的对照。长安物价也一天比一天昂贵起来。
杜甫在米珠薪桂、饥寒交迫的重压下，只管未老先衰、又穷又病，除按当时的风气奔走朱门，用心血所写的诗文到处投递，以争取他全家老小的生存而外，更无他计。先还只向比较投机的人们去诉苦求助，后来光景越发穷困，万般无奈，竟连一向看不起的朝臣和纨绔子弟也都找到。压着满腹牢骚，低首下心，强为欢笑，去做他们的门下宾客。长时期的磨折，虽使得他年纪刚近四十双鬓已星，这位诗人的豪迈心情并未因此削弱。他自己的光景越来越穷困，全家长幼衣食不周，而所见到的许多鸠形鹄面、流离道路而又呼告无门的穷苦百姓，身受惨痛较他尤甚，本就由不得要洒上一掬同情之泪，再一想起平日，为了衣食奔走朱门所见到的酣歌恒舞，稍微大一点宴会便倾中人十家之产的豪华景象，越发加重了满腹气愤。明明知道这些宦贵中人十九是行尸走肉，无一通品，自己却不争气，偏要时常去向他们乞怜。
有时看不惯这些人的眉高眼低，也曾忍不住怒火说上几句气话，拂袖而去，走到路上还觉自己傲骨嶙嶒，到底不甘常为财势所屈，满腹气忿，也舒散了好些。但一想到自己虽然发泄了几句牢骚，人已酒足饭饱，家中却是四壁萧然，冷灶无烟，一二日内便有断炊之虞。冷风一吹，盛气立馁。勉强赶到家中，一面强打精神安慰妻子，一面还要搜索枯肠，乱打主意。昨晚这家业已得罪，明天又去寻谁？最可虑是，这班人物以类聚，常共宴游，声气多半相通，伤了一个，就能带上好几个。近来已听人传说杜子美穷极无聊，人更狂傲。万一寻上门去，再看上许多嘴脸，还受一顿抢白，岂不更糟？心中万分愁急，表面却不忍向妻子明言。这情景真个苦痛已极。像这样的苦痛，他身受已不止一回。磨来磨去，竟把少年时的锋芒磨掉了好些。渐渐也能忍气吞声，轻易不肯发作，郁积在心里头的怒火却是越来越盛了。他苦盼出一贤君，回复贞观、开元之盛，使那千万苦难百姓免于饥寒，安居乐业。
自己也能因时进用，施展平生抱负。可是光景越来越穷，所想的事也越没有指望，眼看穷得不能度日了，忽听人说，韦济由河南尹内调尚书左丞，已回长安。经过洛阳时，并还到尸乡亭窑洞访看他由长安回家也未。想到初到长安时，虽得过韦济的帮助，又很赏识他的诗文，后来调任在外，双方久未相见。这时听说韦济调京，自然认为是个救星，当时便找了去。偏偏韦济出门未归，那些应门奴仆又都不是旧人，无一相识。杜甫衣冠不整，不便在人家中等候，只得把话留下，去到街上闲踱。刚走了两条街，因恐韦济回来错过，忙又赶到韦家探问，还是未回。似这样接连去了几次，韦家奴仆人嫌他来得絮聒，一次比一次厌烦，辞色自然有些不逊。杜甫也被闹得越来越胆怯，末了两次行近韦家先就气短，已有望门却步之感，到最后一次硬着头皮去叩门时，被应门人上下打量，说了好些无礼的话。
愧忿交杂，越想越恨，先觉求人之难，自己衣冠士类，如何受这奴才的气？怒火刚起，忽然想到现在衣食艰难，如换别家，士可杀而不可辱，当然从此绝交，不再上门。韦左丞以前对我十分看重，又曾到我故乡登门访问，想见朋友热肠仍如当年一样，他本人并不在家，官做得大，奴仆就多，人情也必势利。何况他们又不知道主人和我的交情，说话无礼也是难怪。想着想着不觉又走了两街。猛又想起，韦家这般奴仆十分可恶，万一回来他们不给我去通禀，如何是好？心里一惊，忙往回跑。跑了一身汗，快要到达，望见韦家大门已然关闭，门前也无车马，并不像是回来神气。实在没有勇气再去看那应门奴仆的嘴脸，大老远跑进城来，连在街上闲走，一直不曾停腿，人也有些疲乏。如往别处访友，又恐错过，便为难起来。想了又想，决计就在韦家门前等候。正站得心焦腿酸，猛想起韦济喜静好道，常时独坐参玄，如其仍在家中，下人不为通报，转眼就是黄昏天黑，身上分文皆无，城门一关怎么回去？一时情急，更不寻思，匆匆又去叩门。刚想到方才受气情景，心里一寒，想要停手，门环已被敲动。
大门开处，走出来的恰是方才说话最蛮横的健仆，不等杜甫发问，便气冲冲喝问道：“告诉你主人不在家，你改天再来不是一样？总共不多一会，你就麻烦了我们六次……”
杜甫连方才想问主人是否在家静坐的话都被堵了回去，又气又愧，窘在那里，开不出口来。
健仆还想发作几句，忽听呵道之声，探头往西一看，忙即回身。刚一侧转，门内已有十几个健仆抢了出来，大门全开，分行侍立，各自整理着所穿衣帽，一言不发。
这半天杜甫只一发现街上路过的驺从和呵道之声，定必留意窥探，业已多次。见此情势，料是韦济回来，探头往前一看，前行驺从果是尚书的仪仗。心中一松，连忙抢步迎上前去。