我回顾一生，觉得此生无论是成是败，我都有权休息，优哉游哉过日子，享受儿孙绕膝的快乐，享受人生的最高福佑的天伦之乐。
我有幸生得几个好孩子，孝顺我们，对我们真诚敬爱，每一个人都一心尽责。我身边围满令我自傲的孙儿、侄儿和侄女。朋友愈来愈少了，很多人都离开我们，长眠地下。最好的友伴也不可能生生世世在一起。我的工作已经完毕，我不在乎别人是称赞还是批评我。我现在不如以前那么急于创作，精神没有以前好。谁也不能要我再编一次汉英词典。完成"当代汉英词典"的工作不如降低血压来得重要，甚至不如一张稳定的心电图来得重要。想当年我曾为那部字典忙得废寝忘食哩。我写到几百万字厚书的最后一行，这最后一行成为一条轻轻的轨迹。我有心脏病的初期征兆，医生叫我彻底休息两个月。
林语堂"退休"之后，练字，画画，看书以消磨时间。他想整理他的作品，出版《林语堂全集》。他的英文作品几乎全部译成中文，但有些译本水准很差，他很不满意。他说："他所遗憾的是三十年来著作全用英文，应是文字精华所在，惜未能直接与中国读者相见。"
林语堂最喜欢《吾国与吾民》中写的"秋之歌"那一段话：
无论国家和个人的生命，都会达到一个早秋精神弥漫的时期，翠绿夹着黄褐，悲哀夹着快乐，希望夹着追忆。到了生命的某一个时期，春日的纯真已成回忆，夏日的繁茂余音嫋嫋。我们瞻望生命，问题已不在于如何成长，而在于如何真诚度日，不在于拼命奋斗，而在于享受仅余的宝贵光阴，不在于如何花费精力，而在于如何贮藏，等待眼前的冬天。自觉已到达某一境地，安下心来，找到自己追求的目标。也自觉有了某一种成就，比起往日的灿烂显得微不足道，却值得珍惜，宛如一座失去夏日光彩的秋林，能保持经久的风貌。
我喜欢春天，但是它含有太多稚气；我喜欢夏天，可是它浮躁。我最喜欢的还是秋天，因为秋天树叶刚呈嫩黄，气氛比较柔和，色调比较浓艳，可又染有一丝忧愁和死亡的预感。它黄金的瑰丽景色所显现的不是春天的纯真，也不是夏天的威猛，而是垂老的柔顺和慈祥的智慧。它知道生命的种种限制，又有丰富的经验，从而展示了最鲜艳的缤纷的色彩：绿色象征生命和力量，橙色象征称心的满足，而紫色象征顺从和死亡。月亮照耀的时候，它纯洁的容貌好像在沉思，而落日的余晖映照着它的时候，它仍然会嫣然欢笑。清晨的山风吹过，使它颤动的树叶飘落地面。你不知道落叶的歌是欢笑的歌唱，还是诀别的哀吟。辛弃疾写得好：
少年不识愁滋味，爱上层楼，爱上层楼，为赋新词强说愁。
而今识尽愁滋味，欲说还休，欲说还休，却道天凉好个秋。
林语堂的晚年在香港和台北来回穿梭，但主要在香港住的时间长。
1975年10月10日是林语堂的八十大寿。朋友们在香港利园酒店为他做寿。来宾除了香港中文大学的许多教授和利荣森、利园伟等外，还有简又文、徐、张国兴等老友。过了两天，林相如夫妇送林语堂二老到台北，在台北有十几个文学、艺术、新闻团体在大陆餐厅举行了隆重的联合茶会，庆祝林语堂夫妇八十大寿。《华冈学报》出版了《庆祝林语堂先生八十岁论文集》，内有蒋宋美龄、张群、蒋经国、钱复、蒋复璁、曾宝荪、马星野、谢冰莹等人的贺词和文章。
蒋复璁作《林语堂八秩大庆祝辞》摘录如下：
自古至今，仁人君子，必有真勇，必有其德，必有其业，必有其寿。征之史实，毫厘不爽。是故能巍巍乎立于天地之间而无愧也。今维林语堂先生，足资矜式矣。先生祖籍福建之龙溪厦门。三代为基督徒。父为长老会牧师。自幼笃信基督徒。既长，于清季宣统三年，入上海圣约翰大学就读神学院，以对神学课程之乏味，乃放弃基督教之信仰。迨至民国四十七年，再皈依基督教。此乃超越实体而获心灵之胜利也。
先生著书数十种，均译数国文字，实为不朽之作，为中外士林所推重。近年在香港出版之《当代汉英词典》巨著，曾轰动一时，名闻遐迩，乃对文化教育之一大贡献也。先生颜其书室曰"有不为斋"。盖以道家尊尚黄老之说，主清净无为，化治于无形。佛家谓："真理非由因缘造作而成，故曰无为。"而儒家思想，重孔子之道，讲仁义道德，有为有守。"有为"谓"养其身以有为也"。"有守"谓有节操也。有守则不为不义，不为外物所诱也。先生一生，澹泊高洁，与人无争，游心物外专事著述。举凡世俗名利，概不足撄其心。且尝语出诙谐，有"幽默大师"之称。然其生平为人，坦率真诚，忠贞不二，正直不阿。有刚强不挠之毅力，自强不息之恒心。择善固执，唯道是从，唯义是守。见义勇为，不为外诱。高尚之品德，乃儒家之风范，有为有守也。故先生所谓"有不为斋"者，有为而有不为，即勇于为义而不为不义者也，亦儒而亦道也。
观其在抗战期间及政府来台湾后，先生始终主持正义，在海外为政府宣传，口诛笔伐，坚持国策，对国家之贡献实甚大也。今岁十月十日，欣逢先生八秩揽揆之辰，称觥介寿，并侑以辞曰：道术天下裂，汉志述流别，三家称巨子，老庄与儒墨。老子倡无为，庄生超万物，孔孟祖尧舜，有为尽已力。兼爱与为我，扬黝在绝迹。董生定一尊，汉武重儒术，相沿二千年，服膺无敢失。廊庙慕山林，江湖思魏阙。道儒不可分，理学取道佛。吾道本一贯，万殊大成集。厦门林先生，耶儒道释合，家世基督徒，神学先肄业。改途习语文，进修赴美德。读书破万卷，生花梦彩笔，学成得博士，德言称孔硕。掌教变南北，程门多立学。只眼慕公安，抒情多佳作，纸贵洛阳城，重译十余国。骚坛执牛耳，中国萧伯纳。偕老有嘉配，齐眉同心结，承欢有娇女，传经读史策，逍遥一神仙，蒙庄亦见拙。乘心持正义，卫国专笔伐，不为不义事，霜雪比高节。十月庆上寿，康强逢大吉，长生祝期颐，永为国人式。
1975年，美国图书馆学家安德生(Arthur James Anderson)编《林语堂英文著作及翻译作品编目》。他在前言说："东方和西方的智慧聚于他(林语堂)一身，我们只要稍微诵读他的著述，就会觉得如在一位讲求情理的才智之士之前亲受教益。他有自信，有礼，能容忍、宽大、友善、热情而又明慧。他的笔调和风格像古时的人文主义者，描述人生的每一方面都深刻机敏，优美雍容。而且由于顾到大体，所以在评局部事物时能恰如其分。最足以描绘他的形容词是：有教养。他是最令人赞佩，最罕见的人--一位有教养的人的典型。"
安德生并且编纂Lin Yutang：The Best of an Old Friend(《林语堂精摘》)由Mason/Charter 出版。林语堂为这本书写序说：
我喜欢中国以前一位作家说过的话："古人没有被迫说话。但他们心血来潮时，要说什么就说什么；有时谈论重大的事件，有时抒发自己的感想。说完话就走。"我也是这样。我的笔写出我胸中的话。我的话说完了，我就要告辞了。
不久，林语堂在香港不能行走，只能坐轮椅。甚至，有时在睡觉时从床上掉下来，他自己也爬不起来。身体一天不如一天，最后不得不送往医院。
1976年3月26日晚上10点10分，林语堂终于走到了人生的终点。
林太乙和林相如等亲人把林语堂的灵柩送到台北。蒋经国院长亲自到机场迎灵。"中华民国"笔会、中华文化复兴运动委员会、"故宫博物院"、"中央通讯社"、《国语日报》、"中国文艺协会"、"中国语文协会"和台湾开明书店等八个团体负责治丧事宜。4月1日下午，在怀恩堂举行追思会，许多政要、老友都参加了追思会。之后，林语堂的遗体安葬在阳明山的家园里，面对他所深爱的重峦叠翠。
巨星陨落。林语堂去世后，许多人都写了纪念文章。报界更以显著的版面登载了林语堂去世的消息及有关他生平的文章。
"《中国时报》"的社论说："林氏可能是近百年来受西方文化熏染极深而对国际宣扬中国传统文化贡献最大的一位作家与学人。其《吾士吾民》及《生活的艺术》以各种文字的版本风行于世。若干浅识的西方人知有林语堂而后知有中国，知有中国而后知有中国的灿烂文化。尤可贵者，其一生沉潜于英语英文，而绝不成为'西化'的俘虏，其重返中国文化的知识勇气及接物处世的雍容谦和，皆不失为一典型的中国学者。"
《联合报》的社论道："他一生最大的贡献，应该是，而且也公认是对中西文化的沟通。因为论将近代西方文化引入我国者，从严复和林纾那一代起，固可说代有传人，甚至人才辈出；但论将我中华文化介绍西方者，则除了有利玛窦、汤若望等等外国人曾经从事之外，数献身此道的中国学人，林语堂虽非唯一人，却是极少数人中最成功的一人。"
台湾"《中央日报》"以《敬悼平易严正，爱国爱人的林语堂先生》为题的社论。社论高度评价了林语堂的一生。社论说："许多外国人士对我博大精深的中华文化，仰慕之情虽殷，终难深切体会。论及中国的文学与思想，古代唯知有孔子，现代每每唯知林语堂。林先生曾撰联自说：'两脚踏东西文化，一心评宇宙文章'，亦可略见其心胸抱负。林先生的作品虽未必能代表现代中国文学思想之全貌，但其透过文学作品而沟通东西文化，促进国际了解的影响与贡献，确乎是伟大的，甚至可以说求之当世，唯此一人。"
美国《纽约时报》以第一版刊出了林语堂去世的消息，以大幅的版面详载他一生经历和对中西文化学术界的卓越贡献，并以三栏的篇幅刊登半身照片。
美国《圣路易邮报》在4月2日作了特写，称"林语堂不止是某一门类的重要人物。他在很多方面都获有优越的成就，实在无法一一罗列。"
华盛顿大学教授吾讷孙说："林语堂是一位伟大的语言学家、优良的学者、富于创造力和想象力的作家。不宁唯是，他是一位通人，择善固执，终于成为盖世的天才。要说哪一项造诣是他最大的成就，就已经错了。他向西方和中国人证明，一个人可以超越专家这个称谓的局限而成为一个通才。"
林语堂逝世后钱穆最早写出了纪念文章。从3月29日动笔到林语堂下葬那天完稿，题目是《怀念老友林语堂先生》。
谢冰莹在《忆林语堂先生》中充分肯定了林语堂的重大贡献："他在有生之年，对社会、对国家民族、对文学上的贡献太多、太大了，他的著作等身，躯体虽然离开了人间，他的著作永远和我们相伴，他的精神永远不朽，文学熠熠的光芒，永远闪烁在文坛。"
林海音对林语堂的评价更高："本世纪的中国人能成为世界性作家学者的，我认为只有林语堂一人。"
1982年11月3日，林语堂在台北市士林区仰德大道一段141号的故居，被辟为"林语堂先生纪念图书馆"，属于台北市图书馆。馆中有林语堂的藏书2000多册。"有不为斋"及卧室保留了林语堂生前的原样。1985年，廖翠凤曾将台北阳明山的家园及林语堂生前的藏书、作品及部分手稿和代表性遗物，捐赠给台北市政府，同年5月28日，台北市政府在林语堂的故居建立"林语堂先生纪念馆"，供国内外游人和研究者参观研究。1987年4月，林语堂的妻子廖翠凤逝世于香港，享年九十岁。
2001年10月，在林语堂的祖居--福建省漳州市芗城区天宝镇五里沙(今为珠里村)，建成了"林语堂纪念馆"，这是中国大陆第一座林语堂纪念馆。林语堂家乡这个纪念馆位于319国道北侧，坐落在林语堂父母长眠的虎形山上，一大片香蕉如海洋似锦绣将它包裹。纪念馆占地面积三十多亩，主体建筑是白色的半圆形二层楼房，中西合璧风格，在宏大庄重中充满灵气和清明，其四周还建有水池、亭台、小桥、花圃和绿地，非常贴近林语堂的文化思想和美学趣味。馆前是一尊林语堂座身雕像，高达二米，显得从容安闲，潇洒自在。
林语堂写过："做文人，而不能成文妓，就只有一途：那就是带点丈夫气，说自己胸中的话，不要取媚于世，这样身份自会高。要有点胆量，独抒己见，不随波逐流，就是文人的身份。所言是真知灼见的话，所见是高人一筹之理，所写是优美动人之文，独来独往，存真保诚，有骨气，有见识，有操守，这样的文人是做得的。"
当年，有人批评林语堂的作品不合时宜，林语堂无不幽默地说："我的作品主要不是写给同代人的，而是写给后人看的。"
今天，林语堂的作品越来越受到了读者的喜爱，事实上已经证明了林语堂所说的话的正确性。林语堂是在世界上产生影响最大的中国作家。