中央书记处几次开会听取组织工作会议情况汇报时，我都在场。当时我已感到饶漱石的言行十分反常，但对他为什么要同少奇同志一再“顶牛”，一时还解不开这个谜。
在最后一次领导小组会上，少奇同志代表中央明确指出：“中央组织部过去的工作是有成绩的，在工作中是执行了中央的正确路线的。”对于这个部过去工作中存在的某些缺点和错误，他以无产阶级革命家的坦荡胸怀，主动承担了领导责任。邓小平也在会上强调：中组部工作的成绩，“是与毛主席特别是少奇同志的直接领导分不开的，但子文同志也有成绩，不能设想只是领导得好、他们做不好而会有成绩”。与会的中央领导同志本着对待犯错误的同志“一看二帮”的精神，在发言中又都给了饶漱石一个“体面退却”的台阶。但饶最后发言时，仍然坚持自己“原则正确，方法错误”，不肯老实认错。这以后，他还继续在毛主席面前数落少奇同志、安子文和中央组织部一些同志的所谓“错误”，并照旧到高岗那里去议长论短，发泄怨气。后来，不知出于什么心理，饶又一反常态，对安子文说：“我说你对财经会议有抵触，其实不是指的你，而是指的少奇同志。”这真是一语泄露了天机。
五、对高饶事件的处理
高岗、饶漱石分裂党的活动迹象越来越明显，到全国财经会议和第二次全国组织工作会议前后，问题已经充分暴露。党中央据此判明他们是野心家、阴谋家，下决心予以揭露。
1953年12月24日，毛主席在中央政治局会议上首次点明：“北京有两个司令部，一个是以我为首的司令部，就是刮阳风，烧阳火；一个是以别人为司令的司令部，叫做刮阴风，烧阴火，一股地下水，究竟政出一门，还是政出多门？”同时，他建议政治局搞个关于增强党的团结的决议。会后，少奇同志在北京主持起草《关于增强党的团结的决议（草案）》；毛主席离京去杭州，在那里主持《中华人民共和国宪法（草案）》的起草工作。
在这前后，毛主席就高、饶分裂党的问题分别向党内一些高级干部打了招呼，如：
1953年12月，陈毅由上海到北京参加全国军事系统高干会议期间，毛主席两次约谈。头一次，主席向陈毅询问他所了解的饶漱石情况，陈不明底里，按一般情况下尽量说同级干部优点的习惯，说了几句，毛听后反应冷漠。陈毅感到困惑，出来后向一位中央机关负责人谈起，对方提醒他：“主席问你，是要听你说真实情况。”陈马上折回去，把他所接触到的饶漱石的言行向毛主席和盘托出。毛主席这才点头，并且把已经掌握了的高、饶不正常活动的情况告诉了陈毅。几天后，第二次约见陈毅，专门谈高、饶问题，其中主要是华东军政委员会主席的任命问题。毛主席告诫陈毅：“不要伤风，不要失去灵敏的嗅觉，要警惕非法活动。”又说：“你推让是不对的，谦逊并非在任何情况下都是好的。对野心家就不让，让给他会使党受损失。”
1953年12月26日晚，毛主席去杭州路过上海作短暂停留时，向前来迎接的谭震林、张鼎丞、粟裕三位华东局负责同志说了饶漱石的问题。这时，中央已决定调张鼎丞到中央组织部任第一副部长，张问毛有什么指示？主席说：“对党对人民忠诚老实，这是很好的。对阴谋家、野心家可不能老实呀！对阴谋家、野心家老实是要上当的。”
尽管这样，从筹备召开七届四中全会到筹备召开全国党代表会议的这一年里，党中央对高岗、饶漱石的问题，在处理上仍然坚持了与人为善、治病救人的方针。
1954年1月中旬，《关于增强党的团结的决议（草案）》在少奇同志主持下草拟完成后，由我送往杭州。毛主席约请同他一道起草《宪法》的乔木等同志共同研究修改，并且提议：“此决议宜召开一次中央全会通过，以示慎重。”同时提出：“为了团结决议应尽可能做到只作正面说明，不对任何同志展开批评。”
1月18日，毛主席向党中央建议，在七届四中全会前先把《决议（草案）》用电报发给参加会议的同志，要他们准备意见；同时也征求各中央局、分局、省委的意见，并提出要通知驻苏大使张闻天到会。
高岗看到《决议（草案）》后，惶惶不可终日，急忙写信给毛主席，说他完全拥护和赞成《决议（草案）》，表示自己犯了错误，拟在四中全会上作自我批评，并想在会前去杭州见主席。我把他的要求代为转达后，按照毛主席的交代，托词主席正忙于修改宪法草案，没有时间，把高回绝了。高岗还两次向毛主席表示要保护饶漱石。头一次，高岗对毛主席说，饶漱石现在不得了了，要毛主席来解围。主席说，你为什么代表饶漱石说话？我在北京，饶漱石也在北京，他为什么要你代表，不直接来找我呢？在西藏还可以打电报嘛，就在北京嘛，他有脚嘛。第二次，是在揭露高岗的前一天，高岗还表示要保护饶漱石。饶漱石直到最后还表示要给高岗伸冤。
1月22日，毛主席电告***，重申：“关于四中全会开会的方针，除文件表示者外，任何同志的自我批评均表示欢迎，但应尽量避免对任何同志展开批评，以便等候犯错误同志的觉悟。”
2月6日至10日，党的七届四中全会本着毛主席两次建议的精神召开，一致通过了《关于增强党的团结的决议》；同时，还批准中央政治局提出的党在过渡时期的总路线和筹备召开党的全国代表会议的决定。高、饶问题被移到会后另行处理。
四中全会前，少奇、恩来、小平三位同志曾在1月25日和2月5日两次找高岗谈话；2月5日，少奇、恩来、朱德、陈云、小平五位同志又找饶漱石谈话，点出了他们的问题。全会结束后，从2月15日至2月25日，基本上每天用半天时间，由周恩来主持召开高岗问题座谈会，由邓小平、陈毅、谭震林主持召开饶漱石问题座谈会，听取与会者对高、饶问题的揭发和批评，并就一些重要问题核对事实，也听取高、饶本人的申辩和检讨。这两个座谈会逐日的记录，都在会后整理送到我这里，经过汇总，向毛主席和其他中央主要领导同志通报。其间，高岗触电自杀未遂，使座谈会中断过一天。座谈会结束后，根据中央的决定，高岗、饶漱石停职反省，分别在家里写书面检查。东北和华东两个地区，在中央政治局领导下，传达了七届四中全会精神，进一步揭发、批判高、饶的反党阴谋。为此，在三四月间，分别召开东北地区高干会议和华东局扩大会议；五六月间，先后召开山东分局扩大会议和上海市委扩大会议；8月间又召开山东省党代表会议。
高岗拒不悔改，在1954年8月17日服安眠药自杀身亡。我立即将有关情况向中央各主要领导同志通报。在请李琦转告周恩来时，我说高岗是个坏人。据李琦告诉我，恩来同志听后表示：“对！尚昆同志的意见是对的！”
饶漱石停职反省后，我当面交代陈麒章：现在不便给饶换秘书，今后你作为中央办公厅干部，暂时仍以原来名义留在饶处工作，每周写个“饶漱石近况简报”送交中央办公厅，有重要情况可以随时到中南海直接向我汇报。他忠实地执行了。
饶漱石花了半年时间，字斟句酌地写出一份2万多字的书面检查，主要交代了四个问题上的“错误”：
1．黄花塘事件——1943年在淮南黄花塘，借全党整风、审干之机，制造所谓陈毅反对毛主席和一贯反对政治委员等“罪名”，煽动一些不明真相的干部批斗、挤走陈毅，独揽大权；
2．华东军政委员会主席问题——1949年底，大区筹建军政委员会，他明知毛主席、党中央要陈毅任主席之职，却在陈谦让时，玩弄“合法”手段骗取中央同意，取而代之；
3．在京休养期间半夜打扰毛主席的问题——承认当时自己患得患失，无端怀疑中央让他来京休养是“调虎离山”，不信任他，而想从毛主席口中试探中央对他的态度；
4．在中组部工作和召开全国组织工作会议期间所犯的错误——承认当时自己“明斗安（子文），实反****）”，与高岗的反党活动作了配合。
检查的结尾处，承认自己个人主义极端严重，自扣了8项“帽子”：（一）利用弱点，小题大做，打击别人，抬高自己；（二）造谣挑拨，上欺下瞒，当面扯谎，矢口抵赖；（三）运用资产阶级的权术到党内斗争中来；（四）宗派主义；（五）一切从个人出发，个人利益高于一切；（六）处心积虑，文过饰非，吹嘘自己，沽名钓誉；（七）地方主义，分散主义；（八）骄傲自满，缺乏自我批评精神。
由于饶漱石当时患有面部神经痉挛症，看和写都有困难，这份书面检查，由他自拟大纲后，逐点口授，让陈麒章记录整理，读给他听，再按他的意见修改、补充而成，大约在1954年底前后定稿签字，上报中央。此后，饶就无所事事，等候处理，除偶尔去附近的景山公园散步外，足不出户。
怎么处理高、饶呢？高岗自杀前，毛主席曾表示过，打算在高作出检讨后，安排他回延安当几年地委书记，给他以改过的机会；当然原先的一些职务是不能保留了。对于饶漱石，在这一年左右的时间中，党中央反复研究过处理方案，我都参与了。当时，中央只打算撤销饶的中央委员和中组部部长职务，保留党籍，还要给出路，认为这样的宽大处理对党比较有利。一直到全国党代表会议开预备会，请各代表团讨论大会报告（其中有一部分专谈高、饶问题）时，尽管已有不少代表不赞成把饶留在党内，纷纷提出要开除他的党籍，中央政治局在1955年3月18日开会，经过讨论，仍然认为“不必改动原来的意见，应向代表进行说明”。3月19日，毛主席主持召开七届五中全会，讨论到高、饶问题时，主席说，这个文件也搞了一年，几经反复才搞成这个样子，他们的联盟是一个阴谋集团，不是什么堂堂正正的拿出自己的主张来争取领导，而是烧野火，煽阴风，见不得太阳，这样来看，肯定是比较恰当的，也是合乎实际的，是一种政变式阴谋。尽管如此，全会最后除同意饶漱石不出席党代表会议外，仍然决定不开除饶的党籍，只撤销他的中央委员和中组部部长职务。
六、饶漱石的问题发生意外
不料，全国党代表会议开会期间，在邓小平同志代表中央作《关于高岗、饶漱石反党联盟的报告》后的讨论过程中，风云骤变，高、饶问题“逐步升级”，最后来了个一百八十度的大转折：会议一致同意中央政治局在七届四中全会后对高、饶问题所采取的措施，通过了《关于高岗、饶漱石反党联盟的决议》，但将决议中对饶漱石的组织处理改为同高岗一样“永远开除党籍”。经毛主席“拍板”，认定饶犯有反革命罪，指示公安部在1955年4月1日将他逮捕入狱。三天后，又把饶漱石列为饶（漱石）、潘（汉年）、扬（帆）反革命集团案的首犯来查究。
这个突如其来的大变化，是怎么造成的？据我了解，主要有以下三点：
其一，饶漱石闹翻案，激起了众怒。
1954年底前后，国际共运中出现了苏共与南共和解、赫鲁晓夫为铁托恢复名誉的新情况。这个消息在我国见报后，饶漱石突然一反其沉默寡言的常态，先后向陈麒章等人大发牢骚，矢口否认自己曾经勾结高岗进行反党活动，声称他那份书面检查是被迫说了违心话；进而说他这次“挨整”是陈毅蓄意挑起，对他进行打击报复；一再表示他要向党中央申诉冤屈。陈麒章等将饶的这种反常表现如实地向中央办公厅分别写了两份书面汇报。这两份书面汇报由全国党代表会议秘书处印发给全体代表，作为讨论高、饶问题的参考资料。饶的翻案行为把代表们惹火了。
其二，扬帆案件，火上浇油。
扬帆，原名石蕴华，江苏常熟人，1912年出生，1936年毕业于北京大学，1937年加入中国共产党。1939年参加新四军，历任新四军军部秘书，军法处科长、处长；解放战争期间，任中共中央华东局情报部部长；上海解放后，先后任市公安局副局长、局长。
全国党代表会议上印发的材料中，有一件是揭发扬帆在上海解放初期主持镇反，搞“以特反特”，“重用、包庇和掩护了特务分子、反革命分子达3300多人”的，其中好些事涉及饶漱石。
事情得追溯到上海市解放前夕。当时饶漱石作为华东局第一书记和内定的上海市委第一书记，提出在上海解放后清理潜伏特务和反革命分子要采取“以特反特”的方针，并在江苏丹阳亲自接待了由扬帆引见的大特务胡均鹤，交代扬帆将胡带去上海使用。胡均鹤早年曾任共青团中央书记，30年代被捕后叛变，成为国民党中统特务。抗日战争初期，他被日伪逮捕，又成为汪伪特工总部头子、我党叛徒李士群的重要助手；1942年前后，李、胡为给自己“留后路”而同潘汉年建立了情报联系，并曾掩护过上海地下党领导同志刘晓等人安全通过封锁线返回淮南根据地。日本投降后，胡再次成为国民党中统骨干；后来他感到国民党大势已去，派人去香港向潘汉年表示，要弃暗投明，立功赎罪。潘将此事电告扬帆。扬取得饶漱石同意，报经中央社会部批准，决定把胡暂留在解放区作为备用的“特情”人员。上海解放后，扬帆在市公安局主管情报和清查潜特等工作，他认为胡均鹤呈交的“可予运用之沪地伪两统人员表”对上海的镇反有重要参考价值，便在组织“情报委员会”时提议让胡担任主任。这项任命，也报经饶漱石批准。
根据“以特反特”方针，上海市公安局由扬帆负责，经过筛选，先后运用各类反正人员为镇反工作提供线索，取得了很大成绩，但也出现了某些疏漏，如让胡均鹤担任情报委员会主任是不恰当的。这种情况引起了华东公安部和中央公安部的注意，经过他们派工作人员下去检查和批评后，上海市公安局作了认真的检讨，并采取了整顿措施；经中央公安部同意，胡均鹤由上海市公安局继续就地控制使用。这时饶漱石已因病离开华东。
高、饶问题发生后，华东和上海在揭发、批判饶漱石时，“以特反特”的事被重新提起，在并无确切根据的情况下，把本已基本查清和解决的上海市公安局利用反正人员参与镇反斗争中所犯的某些错误，耸人听闻地说成是饶漱石和扬帆借“以特反特”“重用包庇、掩护了特务分子、反革命分子达3300多人”，工作上的失误变成了严重的政治事件。
全国党代表会议一召开，毛主席在开幕词中对当时国内外阶级斗争形势作了十分严峻的估计。他说，帝国主义势力还在包围我们，我们必须应付可能的突然事变，帝国主义发动战争很可能进行突然袭击，因此，我们要有所防备。另一方面，国内反革命残余势力的活动很猖獗，必须有计划地再给他们几个打击，使暗藏的反革命分子力量更大地削弱下来，以保证我国社会主义建设的安全。如果我们有所准备，采取适当措施，就可以避免敌人给我们造成重大危害。否则，我们可能要犯错误。