不一会儿，军团司令部电告李聚奎：“桥不要架了，部队吃饭后休息两个小时，然后出发到绞平渡，在那里渡江。”李聚奎率领一师跟随林聂首长又挥师北上，沿着羊肠小道和乱石滩，一夜急行军六十公里，赶到绞平渡。先期渡江的毛泽东站在渡口北岸的一个崖洞口，等待红一军团。看见林彪、聂荣臻两人走了过来，毛泽东的焦虑之情顿时冰释，眉开眼笑。他高兴地拉着他们的手说：“你们过来了，我就放心了。”

1935年5月上旬，红军攻占会理县城。部队在会理附近休整几天。在此期间，在红军高级领导层中泛起了一股波澜，流传说毛泽东指挥红军不行，要求撤换领导。凯丰甚至指着毛泽东的鼻子嘲讽他：“你懂什么军事?至多读了几遍《孙子兵法》!”林彪也是要求撤换毛泽东领导权中的一个。

四渡赤水过程中，林彪虽然忠实地执行了军委命令，但他对毛泽东朝令夕变的指挥作风十分不满，对翻来覆去走路的行军方式尤为恼火。行军途中，他对聂荣臻抱怨道：“尽走弓背!尽走弓背!不会走弓弦吗?这样会把部队拖垮的，像他这样领导指挥还行!?”

聂荣臻和林彪共事有一条原则：大事不含糊，小事装糊涂。只要涉及到原则问题，宽厚随和的政委立即变得严肃认真起来。他对林彪说：“我不同意你的看法。我们好比落在敌人的口袋里，如果不声东击西，如何出得去?”

林彪看聂荣臻不同意他的观点，在会理休整期间，便给彭德怀打电话：“彭总，现在的领导不成了，你出来指挥吧。再这样下去，就要失败了。我们服从你的领导，你下命令，我们跟你走!”

“遵义会议才改变领导，现在又提出改变前敌指挥是不妥当的。至于我，则更不适当。”彭德怀在电话里拒绝了林彪的要求。

林彪有些气馁，他苦笑了一下，对聂荣臻、左权和朱瑞说：“彭德怀真倔。”

聂荣臻没想到林彪胆子这么大，竟擅自煽动撤换中央领导。他质问林彪：“你是什么地位?你怎么可以指定总司令，撤换统帅?我们红军是党的军队，不是个人的军队，谁要造反，办不到!”聂荣臻警告这位二十九岁的军团长：“你不要乱来。如果你擅自下令部队行动，我也可以以政治委员的名义下令部队不执行。”

林彪清楚这话的份量。在红一军团中，政委和军团长的威望一样高，从某种程度上讲，师团级干部和政委在感情上更亲近一些。林彪固然不敢擅动部队，但也没有就此罢休。几天后，他写了一封给中央三人指挥小组的信，要求朱毛随军主持大计，让彭德怀指挥作战，迅速北进与红四方面军会合。很明显，这封信的中心意思，就是要毛泽东下台。林彪把信交给聂荣臻看后，请他签名。

聂荣臻看完信，拒绝签名。他十分严肃诚恳地对林彪说：“革命到了这样的紧急关头，你不要毛主席领导，谁来领导?你刚刚参加了遵义会议，现在又反对遵义会议，这个态度是很错误的，是违犯纪律的。况且你跟毛主席最久，现在你应该相信毛主席，只有毛主席才能挽救危局。我不能签这个名，我也坚决反对你签名上送这封信。”

“天马行空，独往独来”的林彪没把聂荣臻的劝告记在心里，他最终还是发出了这封信件。

接到林彪的信件，阅毕全文，毛泽东吃了一惊，但很快便镇定下来。他又一次宽恕了林彪。毛泽东断定这封信是林彪的语言、彭德怀的思想，认为林彪是在比他年长八岁的彭德怀煽动下写成这封信的。