1964年12月至1965年1月的中央政治局召开的全国工作会议，是党内高层矛盾进一步演变的关节点。会前，总书记邓小平认为是一般性的工作会议，曾好意地说，主席身体不好，就不必参加了。毛很不高兴，执意要参加。在会上，毛讲话时，刘多次插话，这种现象过去是不多见的，毛对此很恼火。当毛讲到，这次运动（四清）就是两个阶级、两条道路的斗争，强调要整党内走资本主义道路的当权派时，***没有随声附和，而是表示了明确的保留态度。他插话说：“各种矛盾交叉在一起，有四清四不清的矛盾，有党内外矛盾的交叉，很复杂，还是有什么矛盾解决什么矛盾为好，一切从实际出发，不要什么都上升到敌我矛盾。”毛泽东当时就非常生气，对刘怒目而视。刘当时还没有察觉，会后有人马上提醒他说主席生气了，刘很后悔，连连责备自己。第二天，毛泽东在讲话时大发脾气，说：有两本书，一个叫党章，一个叫宪法，我有参加会议和发言的权利。可是一个人不叫我开会（指邓），一个人不叫我讲话（指刘）。接着***在政治局生活会上作自我批评，检讨自己对毛不够尊重。但毛认为这不是尊重不尊重的态度问题，而是搞不搞修正主义的政治原则问题。他在此后，又几次不点名地批评***的“两类矛盾交叉”的提法。毛泽东开始考虑要把***拿下来。
在以后一年多的时间里，虽然***还是负责中央一线工作，但毛泽东已经不再信任他了。毛不仅提出了“赫鲁晓夫现正睡在我们的身旁”这种危言耸听的论断，而且还不止一次地对省市党政主要干部提出“中央出修正主义，你们怎么办？”这样的问题，并提醒他们说“很可能出，这是最危险的。”毛泽东认为***就是正睡在我们身旁的赫鲁晓夫式的人物，他要重新考虑接班人，要把刘拿下来。在一些重要的事情上，他不再与***及其他常委通气，而是在背后支持江青等极少数人做新的斗争准备，找人搞《评新编历史剧〈海瑞罢官〉》的名堂，以期发动一场新的更大规模的运动。中共中央核心领导集团在形式上还维持在统一的领导集体内，但实际上的分裂已经开始了。党内个人崇拜、个人专断的痼疾非但没有因划分一二线的体制而减轻，反而更加难以沟通，而且作为一个集中统一的党，原则性和工作性的问题到中央一层就无法回避，这更加速了权利与责任的离心力量。毛泽东最后认定***就是党内的赫鲁晓夫式的人物。
二、“文化大革命”的发动和***的被打倒
“文化大革命”开始时，***等中央一线领导人对毛泽东要开展的这场政治运动并没有足够的认识和思想准备。1966年5月29日，***主持召开 “文化大革命情况汇报会”，中共中央政治局主持日常工作的三位常委***、周恩来、邓小平及有关领导人研究决定，由“中央文革小组”组长陈伯达率工作组去人民日报社，由中共河北省委书记处书记张承先率工作组去北京大学。在几个中央领导同志商定之后，周恩来还当场到隔壁房间用电话向正在杭州的毛泽东请示，获得同意。
6月3日，***主持召开了常委扩大会议，汇报和讨论北京地区“文化大革命”的情况。会议确定，在运动中“内外有别”，“注意保密”，“不搞大规模声讨会”，“不要包围黑帮住宅”等八条方针。决定向北京市的一些大学、中学派出工作组，贯彻八条。
派工作组不仅是当时已经乱起来的客观形式所迫，也是党领导运动的传统方法，而且还有毛泽东批准派工作组到人民日报和北京大学的先例可援。***力求把运动纳入党领导的轨道，支持工作组领导运动。6月20日，***批发了北大工作组处理5月18日乱批乱斗“牛鬼蛇神”事件的简报，要求各单位参照北大工作组的办法，处理类似事件。 ***还批转了一些地方给中央的有关“假左派”闹事的报告。根据这些指示精神，北京市开展了“反干扰”运动，各地也对反工作组事件进行了程度不同的处理，反工作组的激进学生受到打击，有些甚至被审查批判。尽管这种处理方式有些简单生硬，局势终究是平稳下来了。但毛泽东的思路是“天下大乱，达到天下大治”，要充分发动群众起来“革命”。***的做法，自然引起了他的不满。
7月18日，毛泽东从武汉回到北京，首先听取陈伯达、江青等人关于工作组的汇报。7月24日，25日，毛泽东召集中央常委和“中央文革小组”成员开会，指责工作组“起坏作用，阻碍运动”，批评了***、邓小平，作出了撤销工作组的决定。这使***等中央一线领导陷入极为难堪的境地。7月29日，***在北京市大专院校和中等学校“文化大革命”积极分子大会上的讲话，表示了这种无所适从的心境。他说：“文化大革命怎么革，你们不晓得来问我，我老实回答你们，诚心回答你们，我也不晓得，我想党中央其他许多同志，也是不晓得。”“现在只能讲一句话，放手发动群众”。
为了弄清“文化大革命”究竟怎样搞，响应毛泽东要求高级干部亲自参加北京各学校的运动的号召，***于8月1日至4日亲自来到北京建工学院蹲点。
8月1日，根据毛泽东提议，八届十一中全会召开。8月4日，毛泽东在常委扩大会议上讲话，极其严厉地指责派工作组是犯了“镇压”群众的“路线错误”。***就工作组问题主动承担责任，毛泽东接过话头说：“你在北京专政嘛，专得好！”当叶剑英讲到我们有几百万军队，不怕什么牛鬼蛇神时，毛泽东声色俱厉地说：“牛鬼蛇神，在座的就有！”8月7日，毛泽东写的《炮打司令部》的大字报印发大会，更严厉地批评“从中央到地方的某些领导同志”，“站在反动的资产阶级立场上，实行资产阶级专政，将无产阶级轰轰烈烈的文化大革命打下去”，并把工作组问题同1962年、1964年中央工作指导方针上的分歧联系起来，明确指出党中央内部有个“资产阶级司令部”，否定了以***为代表的中央一线领导。***这才意识到自己“犯了严重错误”。从8月8日下午开始，会议转入讨论毛泽东的大字报，批评矛头指向***、邓小平。这次全会改选了中央领导机构，***从第2位下降到第8位，实际上已经靠边站了。他不再参与中央的日常工作，不再过问“文化大革命”的事情，开始闭门思过，按毛泽东的《炮打司令部》大字报的调子写检查。毛泽东《炮打司令部》的大字报通过各种非正式渠道很快流传到社会上，不久即出现针对***的大字报。
撤销工作组以后，“文化大革命”进入革命造反的激进时期，***及其派工作组问题被作为一条压制革命的“资产阶级反动路线”。10月9日至28日，毛泽东主持召开了以“批判资产阶级反动路线”为主题的中央工作会议。陈伯达、林彪先后作长篇讲话，点名批判***、邓小平“执行了资产阶级反动路线”。他俩的讲话得到毛泽东的批准，大量印发到群众之中。会上一些人指名道姓地批判刘、邓，调子越来越高。10月23日，***、邓小平在全体会议上作检查。***的检查有三方面的内容。首先，他讲了工作组50多天的情况，表示要负主要责任。其次，他讲了历史上犯了“一些原则性和路线性的错误”的情况，着重讲1962年和1964年的事情。再次，他检讨了自己犯错误的原因是不理解运动，怕乱，错误估计当时运动的形势，思想上还存在许多唯心和形而上学的观点，最根本的是没有学好和掌握好毛泽东思想。***在检讨中不得不违心地承担了许多责任。毛泽东事先早就看过***检查的初稿。9月14日，他在初稿上批示：“少奇同志：基本上写得很好，很严肃，特别是后半段更好。建议以草案形式印发政治局、书记处、工作组（领导干部）、北京市委、中央文革小组各同志讨论一下，提出意见，可能有些收获，然后酌加修改，再作报告，可能稳妥一些，请酌定。”***当然照办，但当***的检查作为正式文件下发时，毛泽东的批示被删掉了。
毛泽东在中央工作会议上的讲话，对刘、邓的问题讲得比较和缓。10月24日晚，他在汇报会上说：“把刘、邓的大字报贴到大街上去不好”，“刘、邓二人是搞公开的，不搞秘密的。对刘、邓要准许革命，准许改。”“对少奇同志不能一笔抹煞”。在10月25日的全体大会上，毛讲话又说：“中央分一、二线，我也有责任，路线错误，改了就是了。”“也不能完全怪***同志、邓小平同志。他们两个同志犯错误也有原因”。他还说，“北京的问题，到现在可以说基本解决了。”可见，毛泽东这时对***采用的是党内矛盾的处理方法。但会后，群众性的造反行动更加激烈。社会上攻击***的举动不断升级。10月下旬，北京有的红卫兵组织贴出了打倒***的标语口号。毛泽东此时也不同意把***问题捅到社会上，还派陈伯达去清华、北大制止过贴***的大字报。周恩来、陶铸等中央领导也多次对群众讲，反对提“打倒***”的口号。
从1966年12月中旬起，打倒***的举动骤然升级，***遭受到来自各方面的更严重的迫害。
1966年12月18日，中央成立了王光美专案组，审查所谓“特务嫌疑”问题。名称为中央办公厅丙组，成员4人。12月18日下午，张春桥在中南海西门传达室召见了清华大学著名造反组织“井冈山兵团”头头蒯大富，唆使他们采取行动搞臭刘、邓。12月24日，戚本禹到北京矿业学院对师生们公开说：“刘、邓是党内最大的走资本主义道路的当权派”，污蔑王光美是“彻头彻尾的反革命分子”。12月25日，蒯大富组织了清华井冈山兵团的5000多人，在北京闹市区游行示威，撒传单贴标语，发表演说，把打倒***、邓小平的口号首先推向社会。12月27日，“中央文革”召开北京部分大中学校师生座谈会，江青在会上鼓动说：“两条路线斗争的胜负还没有定，阶级斗争激烈得很，***的检讨不成样子，在干部中没法通过。”她还教唆红卫兵说，对***“你们要背对背，不要死揪回来，其他怎么做都行。”他们一伙还污蔑纪录影片《***主席访问印度尼西亚》是大毒草，要红卫兵立即组织批判。12月30日，江青来到清华大学，单独召见了***女儿刘涛，策动刘涛起来揭发批判***。江青对刘涛说：“***问题的性质早已定了，是反党反社会主义。现在不打倒他，是因为全国人民转不过弯来，要一步一步来。你要彻底和他划清界限。”随后，刘涛根据访问生母王前提供的材料，写了长达数万字的揭发批判***的大字报，主要是生活上的事情。大字报经红卫兵小报大量登载、转载，影响非常大。
11月25日，***陪同毛泽东第八次接见红卫兵，最后一次在公开场合出现。此后，***实际上失去了人身自由，遭到无情的批判斗争，残酷的迫害接踵而来。
12月23日下午，中南海院内出现了第一批点名攻击***、王光美的大字报。1967年元旦清晨6点钟，一些人到***住宅院内，张贴书写“打倒中国的赫鲁晓夫***”之类的标语。1月3日晚，中南海秘书局20多人冲到刘家，张贴标语，勒令***、王光美站到走廊门口，进行了40分钟的批斗。当他们强迫***背语录，嘲笑起哄时，***义正词严地回答说：“你们可以问我毛主席的哪篇文章，写的什么内容，当时的历史背景，针对什么问题，当时所起的作用，理论上有何创新，这才是毛主席思想的精髓。我是《毛泽东选集》编辑委员会主任，无论哪篇文章，我都可以解答。”这是第一次对***进行的面对面的批斗。
1967年1月6日，清华大学“井冈山兵团”的一些人把***的女儿刘平平扣留在学校，诈称她在学校作检查后的归途中被车轧伤，需要截肢，把***、王光美骗到了医院，然后劫持王光美到清华批斗。周恩来得知后，立即打电话批评蒯大富，并派秘书到清华大学限令蒯大富放人。
1月12日晚，中办秘书局七八十人先后冲进***、邓小平、陶铸的住处，对他们进行了围攻批斗。***受到低头弯腰的批斗体罚。王光美站在一张独腿桌子上挨批。
1月13日深夜，毛泽东在人民大会堂临时住处派秘书徐业夫用车接***来谈话。***郑重向毛泽东提出两条：“一、这次路线错误的责任在我，广大干部是好的，特别是许多老干部是党的宝贵财富，主要责任由我来承担，尽快把他们解放出来，使党少受损失；二、辞去国家主席，中央委员和《毛泽东选集》编委会主任职务，和妻子儿女去延安或老家种地，以便尽早结束文化大革命，使国家少受损失。”毛泽东沉默了一会儿，建议***认真读几本书，还特别介绍了德国动物学家海格尔的《机械唯物主义》和法国18世纪哲学家狄德罗的《机械人》。临行时，毛泽东亲自送到门口，嘱咐***“好好学习，保重身体”。***的辞职要求，不久前曾向周恩来口头提出过。与毛泽东的会见，曾使***的心情宽松了一时。但五天后，中南海电话局一伙造反派闯进***的办公室，撤了***的电话。从此，***与毛泽东、周恩来及中央政治局的一切联系都被切断了。
此时，毛泽东的态度与要把***搞成敌我矛盾的江青一伙还是明显有所不同。1967年1月初，北京建工学院的红卫兵组织“八一战斗团”勒令***到他们学院作检查。毛泽东不同意***去，于1月6日给周恩来一个批示：“总理：此件请你酌处，我看还是不宜去讲，请你向学生方面做些工作。”周恩来执行了这一批示。2月12日至18日，毛泽东三次与张春桥、姚文元谈话，对他们说：***的《论共产党员的修养》，我看过几遍，是反马列主义的。***看来九大还要选他当中央委员。现在不要挂牌子、戴高帽子。这表明，毛泽东当时还是把***的问题作为党内矛盾，是要以党内路线斗争的方式解决的。
三、残酷的迫害和***冤案的铸成