1964年12月20日，举行了一次小范围的政治局扩大会议。刘少奇在讲话中谈到当前运动中四清与四不清的矛盾是主要的，运动的性质就是人民内部矛盾与敌我矛盾交织在一起。毛泽东听到这里，忽然打断刘少奇，当即反问:甚幺性质？反社会主义就行了，还有甚幺性质？毛泽东随即严厉指责四清运动中的“大兵团作战”、“扎根串联”等方法。

过了几天，12月26日，毛泽东又在他的71岁生日宴会上不指名地指责刘少奇:我是没有下去蹲点的，所以没有甚幺发言权，甚幺四清四不清，党内外矛盾的交叉？这是非马克思主义的；中央有的机关搞独立王国，党内有产生修正主义的危险云云。

江渭清在回忆中提到，就在会议期间，毛泽东找江渭清面谈，问到他对刘少奇的批评检讨了没有？毛泽东话中有话地说:“没有甚幺了不起，就是这幺一回事。你感到批评对的，就检讨；不对的，就申诉；申诉还解决不了，就等历史作结论。”也许毛泽东已觉得再没有必要搞障眼法，干脆把与刘少奇的矛盾在江渭清面前挑明。会议期间，毛泽东当着江渭清和刘少奇的面，直截了当地说:“少奇同志给你的一封信，是错误的。你的意见是对的，少奇意见是错误的。”

接下来的，就是毛泽东向刘少奇的连番进攻。1964年12月28日，1965年1月3日、5日，毛泽东连续攻击刘少奇，最后以《二十三条》文件的形式将毛指责刘少奇的观点纳入进去。刘少奇在毛的进攻下，节节败退，其威信遭到沉重打击。

从1965年1月起，在形式上，刘少奇虽还是中共第二号人物，但是在党内地位已日益衰弱。据其它资料透露，1965年初，刘少奇在周恩来、贺龙找他谈话希望他主动向毛泽东致歉后，曾找机会向毛泽东作了“自我批评”。毛似乎宽谅了刘。在这此后的一个小型会议上，毛泽东当着一些领导人的面说:“我批评了少奇同志了，但你们今后还是要听他的话哟！]

然而，这是毛泽东故意施放出的烟幕弹，毛泽东已决定要搞掉刘少奇。1965年夏，刘少奇接班人地位将由别人取代的消息，已在极小的范围内传出。据王稼祥夫人朱仲丽回忆，1965年秋，周恩来奉毛泽东命去看望已赋闲几年的王稼祥，周恩来对王稼祥说，接班人可能是林元帅和邓总书记。

1965年11月，毛泽东离京，开始他“伪游云梦”，密谋倒刘的部署。不久，中南海的刘少奇办公室收到一份无抬头、无署名，打印在一张白纸上的毛泽东在外地与几位负责人的谈话记录。这份文件是哪一个地方领导人通报给刘少奇的？近年披露此则消息的是刘少奇当年的机要秘书，但他未加以说明。据这份神秘的文件记载，毛泽东在谈到四清运动时说:“王光美在河北省搞四清，河北省领导不了，华北局也领导不了，是他（指刘少奇）亲自领导的。他有他的长处，我有我的弱点。他有一股硬劲，我爱妥协。我说不行，他说行。……他是第一副主席，瞒不住他……。”

毛泽东的这番话扑朔迷离、暗藏玄机，对王光美的不满是明白无误的了。“我说不行，他说行”，是指刘少奇支持“桃园经验”，毛反对“桃园经验”，还是别有所指，毛故意闪烁其辞；“他是第一副主席，瞒不住他”，是否暗示不要把他的话传给刘少奇？总之，毛为搞掉刘，实际上已向地方官员“打招呼”了。

据《江渭清回忆录》记载，毛泽东1965年11月16日来到南京，江渭清向毛汇报时仍说要“按照”毛主席的指示和少奇同志信的精神进一步检查省委的工作作风，毛泽东大为惊讶，问道:“你们还要做检讨？”江渭清按照官式语言回答:“主席的指示，少奇同志对我的批评，给我教育很大，每检讨一次就有一次的收获。”