丢掉“驻美大使”帽子的叶公超，自搬入松江路一个院子居住之后，当局又派人给送来一顶“行政院政务委员”的纸糊帽子让其戴在头上。自此，台北当局与叶氏之间，便开始了狸猫戏老鼠的游戏。叶的家室皆在美国，当局对其来了个“斩足”行动，明令叶不能迈出台湾半步，更不要想出国探望妻子儿女之事，只能在台湾本岛内部转悠。原来的友朋相好一听说叶被蒋公下令免职，皆认为背后必有隐情，乃像躲瘟疫一样躲避其人，再也不敢上门或在路上相遇后打招呼了。尚有自知之明的叶氏除了与几位相当密切的旧友——而这几位旧友又不会因与他接触有所损失的人物如胡适、蒋梦麟、梅贻琦等人来往，实在感到憋不住了，便以“政务委员”的头衔向当局要部车子，于黄昏时分到台北郊外与海边转上几圈，借以舒解心中的郁闷之气。如此往复数日，叶公超感到胸中的闷气消了不少。有一天，叶驱车转悠时突然感觉不对，四周好像多了点什么，脑子忽地想起“跟踪”一词，再往周围一看，果然如此，显然有便衣跟踪自己。叶公超大怒，当天晚上就打电话给蒋经国，发了一阵牢骚后痛斥当局派特务跟踪。蒋经国表面上对叶极为客气，似是亲兄弟一般，但内心深处从没有把叶当成自己圈中的人物。蒋经国听罢，表示可能是主持这方面事务的彭孟缉误会所致，一定要与他说个明白，何必如此无礼。结果隔了几天叶氏再度外出，仍有特务和秘密警察盯睄，叶遂明白是蒋家父子耍的布袋戏，自己实际上已钻入人家张开的布袋中被软禁了，遂不再抗议，任凭特务们跟踪下去。
对于这种非人非鬼的生活，叶公超自是恼怒于心，但又无处发作。一次，叶的老友，曾与蒋经国一度关系密切，后又分裂的“中统”重要特工之一蔡孟坚前来拜会，叶说：“你虽然被经国摘了纱帽，但社会舆论很同情你，好在与老先生有深远历史，否则，你如我一样，不准步出国门，让你出国乱跑。”蔡说：“你已有一政务委员高职，足以安慰。”叶说：“我此是有‘务’而无‘政’的空名义。”蔡不解此意，叶公超不无愤怒地解释：“身边有‘特务’，‘政事’不准问。”还补充说：“行政院会议时，只有我一人‘小便’，有人随同‘保护’。”
尽管有特务跟踪，生活还要过下去，叶公超开始蹲在居室习字绘画，过起了“怒写竹，喜写兰”的文人雅士生活。几十年前的好友、时任教于台湾师大的梁实秋认为叶不宜长时间憋在屋子里，需到外面透透空气，遂不避各方射来的警觉紧张目光，力邀叶到校任教，讲授“现代英美诗”等课程。
叶自是乐意前往，遂重执教鞭当起了教书先生，只要是叶氏上课，台下居然坐满了听众，到底是听课还是观人，叶并不计较，只是私下向梁实秋感慨：“还是文人最自由啊，早知今日，何必当初”。然而不久，当局便来干预，向校方施压。一个学期勉强结束，叶公超被迫收拾场子走人。
除了特务跟踪给自己带来的郁闷与孤愤，被困台湾不准去美国和亲人团聚，亦是叶公超晚年最大的痛苦之一。他说：“我会被困死在这个岛上。”1977年，费正清由美国造访台湾，此时蒋介石已撒手归天，其子蒋经国掌控大局。费氏回忆说：“在台北最使我们感到高兴的是再次会见前任‘外交部长’叶公超，他依旧是一个性格坚强的人，仍然牢牢地坐在政务委员的位置上，他喜欢孤独，然而却奉命去处理预算问题。他外出时，秘密警察跟踪他；当他住院时，蒋经国却莅临探望—— 一种对最高级天才的奇怪的愚弄。”
1981年临近中秋节的一个晚上，叶公超在邻居陈子和的画室里叹了口气说：“我是有家归不得。”过一会儿又说：“我要给我在美国的女儿画一幅竹。”在场的人都为他这种孤独思女的心绪所感染。到了这年的11月，叶公超一病不起，行将进入另一个世界。在弥留之际，他不断念叨：“我的家人，我的太太、女儿，都要来看我啦！”
1981年11月20日，叶公超在孤寂凄凉中因心脏病于台北荣民总医院去世，终年77岁。一生历尽繁华、看惯了热闹的他，在撒手人寰之际，身边没有一个亲人。殡葬时也显得格外冷清，夫人袁永熹没有赴台告别，只以未亡人身份撰献了一副挽联：
狂傲本奇才，惟贤哲多能，如此江山烟客逝；贱辰劳玉趾，忆清谈移晷，最难风雨故人来。
叶、袁结婚四十多年，总是聚少离多。叶在美国时，只有在外交场合需要非出面不可的时候，袁氏才以夫人身份出场应付一时，其家庭生活越来越淡漠，感情亦越来越疏远，最后竟形同路人。本是一对“有情人”的结合，想不到结合之后却难言幸福，令后之观者扼腕一叹。
当叶公超去世的消息在海内外传开后，随着各种吊唁文字遍载报章，人们又自然地想起了由“外蒙入会案”而衍生出来的神秘的“叶公超去职案”。继之想起叶氏离美赴台，被蒋家父子采取的“斩足”行动，禁锢了整整二十个年头，终致叶在凄惨的晚景中赍志以殁，许多人为之不平并洒下一鞠同情的热泪。
三、“叶公超案”最新破译
关于“叶案”的隐秘，坊间有多种说法，较集中者有二：
一说是叶公超不赞同蒋介石坚持对外蒙行使否决权，回台后“老先生召见他，他跟蒋公顶嘴：‘别的您懂，外交您比不上我懂！’”以致触怒蒋。特别是蒋介石最后抗拒不住美国压力而放弃使用否决权时，对美国极度不满，却无可奈何，乃迁怒于叶，予叶以严惩。【2】
二说是有人暗中向蒋介石进谗言，说叶在美国发表对蒋介石不敬之言论，激怒了蒋而遭罢黜。
对以上二说，一般民众倾向前说，认为叶公超晚年的人生遭遇，是蒋介石受了美国人的窝囊气，而迁怒于叶的结果，这也是蒋介石死后最不见谅于世人的晚年行事之一。但这个说法，随着各国档案不断解密，渐被研究者否定。据担任过台北《民族晚报》副总编辑兼采访部主任，并有幸采访过“外蒙入会案”的当事人之一黄天才说，“叶公超去职”与“外蒙案”无关。黄氏称：就在肯尼迪发表声明的第二天，即1961年10月21日，蒋介石主持召开了决定台湾当局大政方针的国民党“中常会”。会上，蒋说当初台北作出强硬姿态反对外蒙入会，就是迫使美国发表这个声明，“外蒙入会，我们是一直反对的，但策略可以略具弹性，不一定要使用否决权。”又说：“我们的真正目的，是确保我们在联合国的代表权……我们以美国既对我国有所要求，则我国自亦可要求美国有所回报，遂透过外交管道，向甘迺迪（南按：肯尼迪）总统明白表示‘可以考虑不使用否决权’，但要求甘迺迪总统公开表明对我国代表权坚定支持，必要时，并将使用否决权以拒阻中共进入联合国。”
当天，有常委提出外蒙如果获准进入联合国，则苏俄多了一个附庸，对台代表权岂不是增加了一分威胁？蒋介石对此答复说：当年联合国创立之初，苏俄体制内的白俄罗斯和乌克兰就是分别申请入会的，美国、英国，甚至台方，都没有表示反对。现在怎么能说“外蒙”是苏俄傀儡而反对它入会？苏俄加上白俄罗斯和乌克兰，本来就有3票，“外蒙”如果加入，不过增多1票，但我们因毛里塔尼亚之入会，却可以确保非洲法语系12国的支持，这是以小换大的买卖，我们的得大于失……如此这般，闹腾了半年的“外蒙入会案”，在蒋介石同意放弃使用否决权，以驻联合国代表蒋廷黻现场采取“不投票”的方式打了圆场。
面对这场陈年旧案的调查研究，黄天才认为蒋介石既不在“外蒙入会案”上因美国压力而让步，自然就不该有所谓“迁怒于叶公超”之事。据可考的证据显示，促成蒋介石与肯尼迪总统最后和解并各有所得的人，并不是外界猜测的叶公超，而是美国中央情报局驻台办事处主任克莱恩（后晋升为副局长），此人当年奉美国白宫密令与蒋介石就“外蒙入会案”进行秘密谈判，最终打成了和解之局。
鉴于已经历史否定和不断发现的最新证据，黄天才认为第二种说法的可能性极大。理由如下：
就在叶公超去世之时，已调任台北中央日报驻日本特派员的黄天才，偶然从时驻东京的原蒋经国秘书萧昌乐处得知一个隐秘。萧对黄说：“一天，经国先生交给他一份密码电报，嘱他赶紧译出，不必誊抄，马上送呈总统。萧译毕后，才知密电内容是说叶（公超）大使在美国某处发表谈话，批评总统，措辞用语非常恶劣，令人愤慨……密电呈上去不久，就传来叶公超奉电召返国的消息。”萧言毕，未再透露更多内容和发电人。
此事过去七年之后的1988年，有个名叫刘荩章的人，在写给《传记文学》社长刘绍唐的一封长函中，再度披露了“叶案”的一些内幕。