1958年，茶叶受到了当时的浮夸风的影响，被不同凡响地几乎病态的关注起来了，绿旗与歌声里的绿色之茶，再也无法安宁了。人们开始或者开始接受一些令人目瞪口呆的口号，全中国的茶区都在号召茶跃进，放卫星，茶的本性是不移，移了易死，所以民间婚事才把茶作为聘礼，意味着夫妻之间的忠诚。现在也学了稻麦，茶园移植归并，让他们全挤成一堆，密不透风，此曰密植。对人民公社一大二公的理解，一旦落实在茶叶上，就是茶山开放，管你阿猫阿狗，只管上山，连城里修鞋的，剃头的，洗澡堂子的，卖水果的，统统上山采茶。至于在农村，那就更乱了套，谁采茶就归谁，工农兵学商，半夜两点钟起床，上山去采茶，片叶下山，四季采摘，大冬天里的老叶子根本没法炒，只好先用大石磨碾碎了再说。让茶叶赤膊过冬，给茶叶脱裤子。夜里站在茶山往下看，一片火光冲天，那是一个个的小高炉在炼钢，枯死的茶树成了土炉的燃料，结果大片的茶园在大跃进里死亡，直到1969年以后，才恢复到正常。
那几年茶农的生活普遍艰难，吴觉农也听到了不少方面的反映，但在那“人有多大胆，地有多大产”的荒诞的年代里，除了向一些好朋友谈谈之外，又能向谁去诉说呢？想到茶农的艰辛，茶树的厄运，他心中充满了忧伤与无奈。
吴觉农的大事年表里，1958年几乎没有什么记录，直到1959年6月，我们才发现62岁的老人又有了新的革命动力，那就是到社会主义学院学习。因为他有许多的疑问需要解答，有许多的苦闷需要排解。吴觉农肯定是想学习的，是想与时俱进的，是想即知即行的，所以他在他的日记里这样写道：酝酿了相当长时间到学院学习的事，今日终于实现了！时间也凑巧，今天上1959年的六一儿童节，对我来说，也正像过了一个花甲，从头学起。
接下去的那一段话写得非常耐人琢磨：的确，由于1956年离农业部后对工作的态度终是彷徨不定--最近统战部张执一同志也说1956年后的工作不甚妥当--心情也感不安，因在整风后一段时间中，别人确在飞跃进步，而我安于中游，确有退缩和衰老景象，这是极端错误的。
日记写得非常含蓄，也是能不说的尽量不说，但终于还是流露出了对他工作安排不当的情绪。在我们看来，这个工作不当，就是不再让他从事茶业，这是给吴觉农心灵上抹不去阴影。但他又能对谁去呼吁呢。对茶的这份感情，他只有默默地埋在心里了。
在社会主义学院，他同著名的老教育家陈鹤琴同窗学习。陈也是上虞人，早年留美，注重幼师教育。吴觉农每天晨起就跟陈鹤琴学打太极拳。学习期间，他听到了各方面负责人的报告，读了不少书，而且时常向院长聂真等老同志请教，自己感到收获还是不小的。他还要求劳动，因为60岁以上者是可以免于劳动的了，吴觉农经过争取才被批准。10月间他又受到了一次打击，在一次座变会上提出对当年粮食增产10%表示怀疑，结果受到“右倾保守”思想的批判，还让他作了检讨，虽然他做了，但心里很矛盾。他是想进步的，但总是达不到党要他达到的那个进步，他只好在日记里这样写道：党对我们不知给了多少次学习和锻炼机会，总是没有进步。是立场转变问题，要打碎自己的架子。
1960年1月，吴觉农的老友许宝驹去世了，5月，老友于振瀛去世，7月，他在社会主义学院一年的学习宣布结束。吴觉农总结自己的学习，最大收获就是个人要放得越小越好，客观世界要放得越大越好，吴觉农还是觉得自己的那个自我太难克服了，他认为这就是他的个人主义，是必须克服的，而且要快乐地接受无产阶级世界观，把工作做得更好。
其实，63岁的吴觉农也没有什么工作可做了，除了开一些例会，他已经从那种创业的生存状态中完全剥离出来了。1961年，吴觉农的日记里写下这样一段话：永远使自己飞翔在生活的旋风里，永远要期望着明天，没有期望就丧失了生活。
我们理解为这段话是在给自己鼓劲，是担心自己不能够生活在旋风里，担心自己没有明天，没有期望。或许他已经有一种没有旋风感的恐惧，他担心那种没有期待的日子太长，如果就那么老了，等待生命结束，那该怎么办呢。
他似乎开始接受他作为一个老人应该度过的晚年岁月。8月份，他与雷洁琼、严景跃夫妇及徐冰父女一起去了大连避暑，这在他以往的生涯中是绝对没有的事情。他开始有了自己的闲遐时间。
接下去他开始做许多老人们晚年都会做的事情，吴觉农偕夫人还乡了。1961年12月，他回到了故乡上虞，到了百官，丰慧，章镇等茶区工作视察，针对当时出现毁茶种粮，单产量不高等情况，他提了不少建设性意见。在国营上虞茶场与职工共同研究如何开展科学实验，并帮助引进了毛蟹、黄金桂等优良品种。这一次他还专门去了四明山和会稽山等处。
下一年是1962年，那年他65岁了，又出了一次远门，他以全国政协委员的身份前往福建做了一次视察。他到了祟安赤石企山茶叶研究所旧址，故地重游，感慨万千。抗日战争时期在这里度过的日日夜夜涌上心头。如今，这里正在建造飞机场，其重要性自更不同以往了。吴觉农尤其感到欣慰的是沿着企山新路一带，他看到了茶树成林，这是吴觉农过去日夜梦想的事情，现在终于实现了。
但是吴觉农也不是看不到现实，他不但看到了，表达出来了，而且在某种程度上他甚至感到了绝望。他对闽南闽北等地的茶叶生产印象尤其不佳。在日记里，他直言不讳地说：这次在闽，大家似乎对茶叶失去信心，在闽南如此，在南平、建瓯更如此，据说在闽东更如此。
吴觉农记录下这些事实时，口气中已经没有什么激愤了，老人感到了无力回天的那种失落。然而，有什么办法呢？从济南到天津的一路途中，他看到的都是疮痍，涝灾刚刚过去，盐碱却又十分厉害地泛了上来，途中见到的农作物是那么少，吴觉农知道这一地区已经有三两年荒歉，而且他也知道暂时是无法恢复的。但在日记里写下这些之后，他还是不忘记加上一句：还是人定可以战天！
1963年一晃而过，1964年开始和全国人民一起大学毛主席著作。吴觉农学习毛著的态度是十分认真的，11月，他认真地写下这样一段话：学习批评与自我批评，把毛主席语录中有关批评与自我批评几个项目概括为下列几句比较简单而便于记忆的话--当然遗漏是不少的。第一是听，第二是改，这是发展生命力的东西，目的是为人民服务，为了自己的进步，并帮助别人共同搞好工作。
我们可以从1960年到1964年的吴觉农日记中看到大量的学习《毛泽东选集》的心得笔记，除此之外，就是大量的有关如何改造自己世界观的心得，其他事情则很少记录。不过在除夕的日记中，他还是没有能够忘情茶叶，说：今后拟以（学习）有关修养身心自我改造的材料为主，也兼及茶叶方面较重要的记录。
那一年他也的确在茶叶上做了一些实事，他在《茶叶通讯》第一期和第二期上发表了《湖南茶业史话》，《茶叶通讯》是当时湖南省茶叶学会主编的专业性季刊，这篇文章参引大量史料，古为今用，阐述了湖南茶业的简单发展历史，提出了若干问题，供实际工作的人员参考之用。这篇文章也是吴觉农准备编写的《茶集》计划的一部分。
1965年1月，68岁的吴觉农参加了座谈周总理的工作报告，就在这次座谈会之后，吴觉农的心情又一次大变，他对自己说：有人谈李维汉同志的投降主义路线，我好象惊弓之鸟，不谈这事。一切应依照总理的报告。
吴觉农对李维汉是充满尊敬之情的，此时这位统战部长犯了投降资产阶级的路线错误，可见阶级斗争这根弦，又一次绷紧了。在日记里竟然用了“惊弓之鸟”这样的词眼，可以想见吴觉农当时的心境如何。他是一个有政治敏感性的人，他已经能够感受到那种“山雨欲来风满楼”的架势了。
二月是中国人的节日春节期间，他特意去了北京郊县的通县，看望在那里已经数月与群众同吃、同住、同劳动的好友王昆仑曹孟君夫妇。此时的王昆仑仍担任北京市副市长，曹孟君仍是全国妇联书记。王昆仑是一位才子，知识渊博，还是一位红学家。虽然他们谈笑风生，但从他们夫妇的表情中可看到他们脸上的忧郁。在他们谈到当年“小民革”的成员阳翰笙的受批判电影《北国江南》时，他们很为他们的这位朋友担忧。王昆仑收起了笑容，认真地说：“局势还在发展，一切难以预料。”王昆仑后来被称为“针插不进、水泼不进”的北京市领导人之一。这时候的身体状况是很差的，但在吴觉农看来，他却能够以革命精神突破几个生活和思想上的重点。这话也可以理解为面对不利的生活条件努力以一种乐观向上的精神状态去克服，这种精神还是感染了吴觉农。吴觉农是一个容易被热情激动的人，即便已经68岁了，他身上依旧保留着年轻时代形成的激情，在他这样的年龄上，他的激情甚至可以说是相当浪漫的。而王昆仑也许已经感到波谲云诡的斗争风暴将要到来了。这位曾经被蒋介石骂为“假国民党、真共产党”的人，在文化革命叫被关进了“秦城监狱”，“四人帮”粉碎后他是在法庭上控诉江青罪行的主要证人之一。
看望过老朋友之后，初三那天他就开始专门约了家里人商量，决定向政协领导要求下乡去参加四清运动。但平杰三秘书长在统战部的午餐桌上告诉他，他的“四清”活动须在下期，大约得地暑假前后。
吴觉农就决定等待下一次的“四清”，为此，三月间，他专门购置了大字本的马恩列斯的经典著作共三十一本，并下了一个老骥伏枥的决心：我如有余年，拟读完这大字本的著作。道先想读懂列宁的哲学笔记和恩格斯有关哲学的部分。
看得出来，吴觉农其实是想改造自己的世界观的，但实在是不知道从灵魂深处的什么地方开始改造。6月间，他终于给自己找到了一条应该改造的地方：有些人常常看重了钱的作用，以为有钱就有了一切，这就是忽视群众的最大错误。我在历年对茶叶的迟迟不能发展，认为投资不够多，不够剌激，经常从钱的方面着想，看了这些事实，应该有所醒悟。
到十月间，他又给自己指出了一条应该改造的地方：有次我提到自己“革命意志衰退”问题，有人提出不同意见，说***、安子文同志曾提出过这句话，都指的是党员。我们这些人当然是不适用的。应该提“黄昏思想”或“中游思想”，亦即所说的“安于慢慢前进”的思想。
吴觉农把自己称为“我们这些人”，显然是很清醒的，他终于明白了他属于另一个册子里记录的名单，他一厢情愿地要革命也是行不通的。但吴觉农又是困惑的，因为他实在是想改造世界观，以能够参加火热的生活，但他又实在是不知道，他到底怎么样改造了才能够过得了关，才能够继续为社会主义服务。
更使他困惑的是，“时刻不忘阶级斗争”的斗争矛头不仅针对着他这样的“资产阶级分子”或“资产阶级知识分子”，更主要的是指向了他所一向钦佩的“无产阶级先锋分子”。这时以铺天盖地之势，无情打击的正是他最亲近的两位朋友。一个是文化界的夏衍，从《早春二月》开始。批判越来越升温，似乎欲将他置于死地而后快。另一个是经济学界的孙冶方，批判他贩卖利别尔曼的市场经济和利润邪说，给他戴上了“反革命修正主义”的帽子。
就在这样的困惑之中，吴觉农迎来了1966年。