11月中旬以后，情况全然改变了。先是陈绍禹等留苏学生预先得到俄国人大发雷霆的消息，开始公开反对李立三，要求撤销他们因批评李立三的主张而受到的处分。对此，作为中共总书记的向忠发竟还蒙在鼓里，以至于他还敢在11月17日的宣传工作人员会议上借着批评留苏学生沈泽民，把陈绍禹等痛骂了一顿。但当天中共中央就看到了共产国际关于立三路线问题给中共中央的信。这封信根据从远东局得到的关于李立三反对共产国际的有关报告和中共中央8月初两次会议记录，断言李立三和其他几个政治局同志已经形成了一条与共产国际对立的反列宁主义的政治路线。这种情况使向忠发极为尴尬。在11月18日的会议上，向忠发心情沉重地宣读了共产国际的来信。在22日与团中央举行的联席会议上，他被迫开始承认自己负有主要责任。到12月6日，他更是完全屈服了，过去那点打抱不平的劲儿消失得无影无踪了。他甚至开始畏畏缩缩地想把自己摘个干净，说什么:“我缺乏理论，过去对立三错误不能说服他，不能与他争辨”，加上“我不能写，没有帮手，使我自已觉得立三不对也不能反抗，这是我过去的责任—助长‘立三路线’”。当然，他这时还不了解陈绍禹等留苏学生背后有苏联的大手在撑腰，因此还是咬着牙不收回过去对陈绍禹等人的处分决定，并且不能容忍陈绍禹等人对中央的态度，坚持要“与之斗争”。然而到12月16日，即共产国际东方部负责人米夫来到上海，并与向忠发谈过话之后，向忠发彻底老实了。他进而极其消极地提出:

“中央政治局有改选的必要。因我工作能力不够，同时在‘立三路线’时代我应负很重大的责任，对我个人，希望允许我到下层去做工作。我的态度亦有很不好的地方，亦可影响到政治上去，并且我的病体亦不能担任这一工作”。

向忠发的请辞没有得到任何人的赞同，瞿秋白第一个反对，肯定向忠发自六大以来领导政治局做了很多工作。在紧接着于1930年12月29日米夫和远东局为六届四中全会拟定的改选政治局委员的名单上，李立三自然被删掉了。而与“立三路线”完全不沾边的瞿秋白莫名其妙地成了三中全会“调和路线”的责任者，也因为在莫斯科时一度与米夫作对而被删掉了。再一个被删掉的是李维汉，而他实际上只是在六届三中全会上才补选为中央委员和政治局候补委员，却成了国际来信中所提到的那个支持“立三路线”的“其他政治局委员”的代表，唯独“立三路线”的最高主持人向忠发岿然不动。不仅如此，在1931年1月7日召开的六届四中全会上，几乎所有的原政治局领导成员都不同程度地受到与会者的批评指责，并被要求退出政治局，就连人们这时所公认的在党内工作能力最强的周恩来也不能幸免，却没有一个人向这位总书记发难。虽然人人都知道，李立三很大程度上是靠向忠发这个“炮筒子”打天下的，向忠发也再度表示:“政治局本身的错误，我个人要负特别的责任”，仍没有人把矛头指向向忠发。这里的原因大概只有一个，那就是:向忠发是个工人。正象参加会议的国际代表所说的，周恩来犯错误，“自然应该打他的屁股”，但向忠发等人“是工人同志”。言外之意，因为是工人，因此不仅“决不让他们滚旦”，就连屁股也不用打。甚至国际代表直截了当地说:什么叫真正的反“立三路线”？就是要“吸引工人干部，提(高)他的政治水平，教育他训练他，到指导机关为党工作，这才是真正的反‘立三路线’”。结果，新改选的政治局委员中，“十六人中十人是工人出身”。

虽然向忠发仗着工人出身的金字招牌保住了总书记的位置，但反复公开地承认错误并把自己说得几乎一无是处，结果使他明显不再象过去那样争强好胜了。他开始把宝押在陈绍禹的身上，极力想让刚刚当上中央委员和政治局委员的陈绍禹进入政治局常委，来帮助把关。因为他这次政治上的严重挫折使他清楚地意识到自己再不能象过去那样呈英雄了，他几次提出需要有个“帮手”。而这个帮手最好就是陈绍禹。其实他早就知道，陈绍禹是共产国际东方部米夫的最得力的干将。但过去他过于自信，竟没有把陈绍禹放在眼里。如今他翻然悔悟。虽然米夫和远东局最初并不同意让陈绍禹迅速进入常委工作，但他还是每每必定拉上陈绍禹来开会，并且一反过去那股从不服输的劲头儿，即使是陈绍禹当面顶撞他，他也尽量不动肝火，好长一段时间里，每逢开会，他只是喏喏而已。

不过，四中全会以后，向忠发还是做过两件对中共历史有重要影响的决定。第一件是不让张国焘到江西苏区去担任苏区中央局的书记。四中全会结束后，远东局立即提出加强苏区中央局的领导问题，并建议派将要从莫斯科回国的张国焘（六届四中全会选举的政治局常委之一）来担任书记。对此，向忠发极力反对，称张国焘长期不在国内，对国内工作不熟悉，同时与江西苏区的毛泽东过去在一些问题上有矛盾，难以合作，在苏区工作刚刚走上正轨之际派张国焘去担任领导职务，对整个工作是不利的。远东局虽然坚持认为张国焘与毛泽东之间不会产生严重问题，但最终还是同意了向忠发关于张国焘应暂时留在中央熟悉工作的意见。从以后张国焘到鄂豫皖苏区后大搞一言堂的情况来看，这个决定显然为毛泽东减去一个具有重要威胁的政治对手。

再一件事是让毛泽东来做即将成立的中华苏维埃共和国中央政府的主席。本来，在六届三中全会以前，中共中央曾经决定过建立中国苏维埃中央政府的名单，向忠发作为中共中央最高领导人，自然也被规定为苏维埃政府的主席。但在四中全会之后，远东局建议即将成立的苏维埃政府名单不必过于注重形式，群众还不熟悉者不必排在名单里。因此，关于政府主席是否有必要由中共中央主席来担任的问题，在政治局会议上引起了争论。有人认为向忠发做政府主席“没有必要”；有人则认为苏维埃主席需要全国有威信的，尽管由在上海中央的向忠发来做个挂名的主席未必好，但“除特生（即向忠发）外，没有别的人”更有威信来做这个主席了。张国焘则明确主张:“在全国威信上，还是特生好”。而向忠发却提出:自己在上海，又不能到苏区去，没有必要担任这个主席职务，“我觉泽东可做主席”。显然，想到应当并且可以由毛泽东来做这个主席的，这时也就是向忠发了。由于这一意见最终得到了会议和共产国际的批准，毛泽东也就真的当上了苏维埃政府的主席。向忠发的这一提议，很明显为毛泽东以后在政治上的发展创造了一个十分有利的条件。

但是，向忠发在中共党内的作用，无论是积极的，还是消极的，也就到此为止了。中共六届四中全会之后，根据共产国际的意见，全党的工作重点已经开始转到苏区、红军和苏维埃政权建设问题上去了，大批的干部和工人党员被先后送到各个红军根据地去，向忠发原来所熟悉的城市工作，特别是工人运动的工作不可避免地受到了削弱。更有甚者，四中全会的召开由于违反了党的几大工会系统党团干部的意愿，因而引起了强烈的反抗，先是以何孟雄为代表的25名重要干部在开会反对四中全会时，被人告密全部牺牲，接着又是以罗章龙为代表的一批工会干部另立中央，分庭抗礼。结果，包括上海在内的诸多城市工作及工会工作严重受损，从此几乎一蹶不振。面对这种情况，向忠发再也鼓不起过去那种急于想成就一番大事业的雄心了。他的总书记固然并非完全虚置，但他可以考虑和可以用心去筹划的工作毕竟越来越少了。理论上有陈绍禹等一大批留苏学生，实际工作上有周恩来等，他的工作只剩下一周向远东局代表汇报一次工作，参加一两次中央政治局会议或常委会议，听几个报告，发两次言而已。渐渐地，向忠发越来越消沉了。他一面因看不上陈绍禹不可一世的样子，动不动就和陈大吵，使得远东局一度为两人的关系磨破了嘴皮；一面不顾总书记形象，用党的经费，住洋房，养小老婆，双栖双宿，不仅弄得负责其安全和生活的周恩来等人好一段神经紧张，而且搞得部分领导人对此议论纷纷。因此，周的评价是，向忠发这时“堕落”了。

其实，这期间“堕落”的又何止一个向忠发。据周恩来回忆，根据莫斯科意图改造后产生的六大中央委员总共有36个，其中工人占了22个，而这22个工人委员中，除了向忠发于1931年6月22日被捕变节以外，相继投降了国民党的就有14个，占整个中央委员三分之一还多。这也就难怪，当向忠发被捕并被杀后，曾有另一位工人出身的政治局委员卢福坦明确表示想要接替向忠发做总书记，却不被共产国际所考虑。继向忠发之后，共产国际宁肯找一些自己信得过的，即使是毫无经验的留苏学生来维持中共中央的工作，再也不提找工人来做中共领袖的事了。