国家领导人出访的安全保障，主要依靠公安部和调查部，我的任务是组织、协调各方面力量，督促检查，确保万无一失。五六十年代，我国领导人出访不多，但是当时国际环境恶劣，敌情十分复杂，一遇有领导人出访，我们的工作就成倍增加，忙得真可谓宵衣旰食。最紧张的情况有两次：一次是1955年4月，周恩来率中国代表团出席亚非会议，事先我们得到蒋特拟加害周恩来的情报，为此，我们已经采取了某些措施。不幸的是，4月11日，我国向印度租用的克什米尔公主号专机在香港被蒋特秘密安装了炸弹，飞至加里曼丹岛上空时爆炸失事，乘坐这架飞机的中国代表团工作人员和记者石志昂等八位同志壮烈殉职。这一事件发生后，如何确保周恩来一行的绝对安全，圆满完成原定任务；还要考虑如何通过外交途径同印、英当局进行交涉，要求他们彻底查明情况，严惩凶犯。内外两条战线，实在忙得不亦乐乎。直到4月29日，周恩来从印尼返抵昆明，我才稍稍松了一口气。另一次是1963年4月，***、陈毅出访印尼、缅甸、柬埔寨和越南。这一次，主要是柬埔寨敌情复杂。根据我驻柬大使陈叔亮报告的严重情况，我们本来已建议刘、陈推迟访柬，4月23日正在缅甸的刘、陈也回电同意推迟访柬。与此同时，我们请陈叔亮大使会见柬国家元首西哈努克亲王，向他通报了我们掌握的敌情，希望他采取有力措施，并转达了刘、陈推迟访柬的意向。4月24日，陈叔亮报来会见西哈努克的情况，西哈努克允诺采取必要措施。在形势变得对我们有利的情况下，当即以周恩来、彭真、我和孔原的名义致电***、陈毅，提出不定期地推迟对柬访问，政治上不利，在柬方正在对安全问题采取必要措施的情况下，我们拟向西哈努克提出：一、仍按原计划访柬；二、缩小或取消群众场面；三、减少或取消外地的访问，以便两国元首能更多地交换意见；四、提前访问日期。4月25日，我同孔原再次致电刘、陈，告毛泽东认为访柬仍应按原计划进行；并告周恩来决定派熟悉柬情况的前驻柬大使王幼平以我外交部顾问名义，作为刘、陈访柬的随员，先去金边，指挥我使馆与柬方落实安全保卫工作。4月29日，得悉敌特阴谋在柬加害我领导人一案（代号“湘江案”）已大体侦破，形势进一步好转。5月1日至5日，***、陈毅顺利地访问了柬埔寨。
在工作中，我同李克农建立了深厚的友谊。1961年1月，他的夫人赵瑛去世，我出席追悼会并致悼词。同年7月，我去看望病中的他，他对我谈了很多问题。大约半个月以后，他给我写信，建议由他主编一部《党的特科斗争史》。他在信中说，我因病休养已近四年，最近医生已同意我逐步进入工作。现将我拟做的工作报告如下，请你和安子文部长、罗瑞卿总长二同志商决批准。信中说，他拟将党中央特别委员会（特科）斗争历史，尽可能加以搜集，汇编成册，以利于中组部和军委参考，同时也可以让过去在斗争中的无名英雄死有所安，老有所归，幼有所寄，鳏寡孤独，各得其所。这个建议得到了中央的批准。尽管那时他疾病缠身，仍不知疲倦地坚持工作。1962年1月扩大的中央工作会议（七千人大会），他勉强参加到闭幕的前一天（2月6日），实在无法坚持下去了，3天以后，2月9日，他走了。遗憾的是，那时我也病倒了，竟没能见上最后一面。至今我还珍藏着他从开城、日内瓦给我的来信，作为纪念。
有些工作本来是有专业部门归口的，却也让我参与。比如公安工作是毛泽东直接过问的，但是每次开公安工作会议，罗瑞卿总是拉我去讲话。如果说，保证中央领导同志的安全是我分内之事，与公安部保持联系也属于题中应有之义，那么，中苏两党之间的联系，应归口中央联络部，涉及中苏两国之间的问题，应由外交部处理，但那时却把这项工作放到了中央办公厅。为此，中央办公厅成立了一个只有四个人的翻译组，由我直接领导。在我的办公室里还安装了一部直通苏共中央和苏联驻华大使馆的热线电话，不管大事小事，苏联驻华大使契尔沃年科总是先找我。
又比如，1962年，中央决定成立精简领导小组，让我当组长。要求精减城市人口2000万，这本来是劳动部门的事，结果也落在我的头上。精减城市人口是具体贯彻落实“调整、巩固、充实、提高”调整国民经济八字方针的头等大事，是我们党在当时的严峻形势下被迫作出的非常决策。
还有一件事，1964年中央决定进行全国人口普查，成立人口普查领导小组，让我当组长。事情是这样的，随着精减城市人口2000万任务的完成，国民经济调整取得重大成效，为了摸清我国人口状况，为编制国民经济第三个五年计划和十五年设想提供准确数据，距第一次人口普查已经11年的第二次人口普查提上议事日程。2月10日，中央决定我为人口普查领导小组组长，周荣鑫、徐子荣为副组长。那时进行人口普查，没有现代化手段，普查项目也比较简单，主要依托公安部门的户籍管理力量进行。经过几个月的紧张工作，取得了1964年7月1日的人口数据：全国（不包括港、澳、台）人口为6.9458亿人，比第一次人口普查时的6.0193亿人增加了近1亿人。但是在普查中发现，1960年底全国人口比1959年底有所减少。这是自建国以来第一次出现人口负增长。尽管当时统计手段落后，统计数据不可能十分准确，但却大体上反映了那时部分农村由于各种原因发生的非正常死亡现象，是一个很值得重视的情况。人口普查各项数据汇总后，我们向毛泽东作了汇报。第二次全国人口普查就这样结束了。
总之，中央让我干什么我就干什么，是个“听用”。“听用”起什么作用？我想大概起个甘草的作用。甘草是中药里使用最广泛的一种辅药，一种调和药，一剂药里加上一点甘草，就能使这剂药更好地发挥疗效并减少副作用。过去，我常为一年四季忙到头，年终却总结不出几条成绩想不通，现在我体会到，起个甘草的作用就是成绩。
中央办公厅就是为中央服务
杨尚昆说:
归根到底中央办公厅就是为中央服务，保证中央工作正常运转。同时，它承上启下，起一个中间环节的作用。
那时，地方党委都要求中央办公厅有一个统一指挥，希望中央办公厅对省、市、自治区党委办公厅实行垂直领导。我无论如何不同意这个意见。我说办公厅不能像别的部门一样自成系统，我们上下没有什么领导关系。中办是中央的办事机构，是为中央服务的，你们是你们党委的办事机构，是为你们党委服务的。你们如何工作要受你们党委的领导，你们党委要你们怎么办就怎么办。当然，中央召开有各地负责同志参加的会议时，我也常常找随同来京的各地秘书长、办公厅主任座谈，沟通情况。
我认为，既然办公厅是服务机构，就无权向下面发政策性文件。后来，“四清”运动中，少奇同志为了及时指导运动，常常要批转一些材料供各地、各部门参考。按照规定，以《中共中央文件》形式印发，要经过中央常委传阅同意，为了不过多地打扰各常委和争取时间，少奇同志就提出一个变通办法，用《中央办公厅文件》形式发出，从此开创了中央办公厅向全党发文的先例，这种做法一直沿袭至今。
那时占用我很大精力的有这么几件事：一是同各省、市、自治区党委联系，就是所谓“通气”。国际、国内发生了什么重大情况，对某一问题中央有些什么考虑，地方同志有些什么想法，都要由我同各省、市、自治区的同志一一通话。五六十年代的通信手段十分落后，接通一个电话要很长时间，而且声音也不清晰。遇有“通气”任务，一般是每天提出一批省、市名单，让中南海总机长途台去接，长途台根据线路情况，哪个省、市先接通就同哪个省、市先讲。20几个省、市、自治区打一遍，要用两三天时间。地方同志也常常打电话来，向我摸中央的“气候”。二是协调同条条、块块之间的关系。比如一个部门送来请求中央批复的报告，报告中提出的意见成熟不成熟，如果需要提交中央会议讨论，还要作哪些进一步的准备；涉及几个部门或地区的问题，还要再听听有关部门和地区的意见。三是做人的思想工作，特别是特殊人物的工作，大多是毛泽东亲自交办的。比如王明，庐山会议后还有彭德怀、黄克诚、张闻天这些受错误批判的同志。毛泽东要我同他们本人保持经常的联系；彭德怀的夫人浦安修、张闻天的夫人刘英也经常找我谈话，一谈往往几个钟头。
在中央办公厅的岗位上，我有幸结识了越南人民的领袖胡志明并同他建立了特殊的友谊。在我面前，胡志明是一位和蔼可亲、平易近人的长者。他到中国来，我常常去他下榻的地方看他，他也常到我的办公室来看我。他来时经常是单身一人，不带一个随员。同他谈话，似乎是在拉家常，无拘无束。他有什么要我办的事，都直截了当地提出来。比如有一年年末，他送来一包由他亲笔签名的新年贺卡，要我分发给我们党的领导人。按说，这样的事，他应该通过越南驻华大使馆办，但是他把我当做亲密的朋友，这比经过外交途径分发亲切得多。1955年6月，胡志明率越南政府代表团访华期间，提出要参观北京新建成的官厅水库。7月6日，我陪他去了，他很高兴。在回来的火车上，他兴致勃勃地题诗一首：“尚昆同志雅正：听说长城万里长，头联东海尾西疆，几千百万劳动者，建筑兹城镇一方。”胡志明不仅把我看做知心朋友，也把中国同志都视为自己人，有些很具体的事，比如有一次他想到广东从化温泉休息几天，就直接打电报给接待过他的警卫局干部张文健。张文健当然要请示我，我一方面指示张立即赶赴广东，认真做好接待工作，保证胡志明休息好，一方面把胡志明要来我国休息的情况报告中央。
我想，毛泽东把我放在中央办公厅这个岗位上长达20年，主要就是因为我同各方面的关系熟，能办些事情，体现了毛泽东对我的信任。后来他对我越来越不放心，把我看成是发动“文化大革命”的绊脚石。十一届三中全会以后，有一次王震同志告诉我，他曾问过毛泽东，你为什么不信任杨尚昆了呢？毛泽东回答说，他和彭德怀搞到一起去了。
1978年12月，中央决定恢复我的工作，任中共广东省委第二书记，小平同志建议让我暂留北京一段时间，协助胡耀邦、姚依林整顿中办的领导班子，恢复中办的正常工作秩序，体现了小平同志对我的信任。我完成了这项光荣任务才奔赴广东。
老同志怀念在中办工作的岁月
在杨尚昆谈话中间，在座的中办老同志也不时插话。他们说，回忆五六十年代的中办，可以概括为两句话：“工作节奏紧张，政治环境宽松；工作条件艰苦，生活服务周到。”
中南海内的几个单位，有的是昼夜24小时值班，有的经常工作到深夜；中南海内无小事，还要随时准备接受紧急任务，时刻不能懈怠。但是，政治环境十分宽松。中央领导同志，特别是周总理、彭老总、杨主任平易近人，上下级之间无拘无束，说错了话不会抓你的辫子。那时，政治运动不断，但是在中南海内坚持实事求是，从不制定什么指标，很少伤害同志。
那时，工作条件是艰苦的。阎明复讲了一个故事，很能说明问题，他说：“有一次毛泽东接见尤金大使，我做翻译，因为天气太热，连电扇也没有，大家只好不停地扇扇子。接见结束时，我顺手把毛泽东的扇子当做自己的扇子拿回去了，发觉以后，将错就错，把这把扇子作为珍贵文物保存至今。”1954年以后，干部陆续由供给制改为低工资制，此后，除1956年调整过一次工资（调整面为40%）外，只有18级以下干部在1962年调过一次工资（调整面也是40%）。17级以上干部直到十一届三中全会后的1979年，在长达23年的时间里不但没有调整过工资，反而在三年困难时期为了表示与群众同甘共苦，还象征性地降低了一点。在生活服务方面，却非常周到。杨尚昆经常找邓典桃、罗道让等管后勤的同志研究在可能的范围内改善机关生活和活跃文体活动问题。那时中南海西楼每星期三、六都放映电影，票价两角，不分中央领导人和一般同志，看电影一律凭票入场。在中南海，夏天可以划船，警卫局行政处根据各单位大小分配数量不等的船只，并发给与船只编号相应的牌子作为登船凭证，每天晚饭后提供服务；冬天晚间开放冰场，备有各号冰鞋，免费使用。
中办老同志们非常怀念在中办工作的岁月，觉得那时在中央领导同志身边工作，既学到了党的优良作风，也学到了领导同志的工作方法，得到极大锻炼，心情舒畅，终生难忘。