有几个要走的听了陈毅的话后还是留下了，后来他们都阵亡了，林彪与少数几个动摇分子离开了部队，朝梅关方向走去。但在山林中，他们遭到反动民团的搜捕、追杀，林彪也与那几个一起离队的人失去了联系，一人踯躅前行。路上一位好心的山民告诉他，梅关一带的路隘、关口被地主“挨户团”把守得水泄不通，只要碰到操着外地口音的人，轻则搜去财物痛打一顿，重则砍头杀身。一听这话，林彪吓坏了，在走投无路的情况下，他只得返回部队。回到部队后，林彪向陈毅检讨说：“现在外面搜腰包打人，还要杀人，我还是回队伍里来吧。”陈毅就说：“你现在不走就好，回来我欢迎，还是把你的七连抓好吧。”

最早发现他军事才能的“伯乐”是朱德

1927年10月底，国民党内部粤、桂两系之间爆发战争，朱德、陈毅率领的起义部队才得以在赣南的大余、崇义一带休整。所有的部队被整编为一个纵队，由朱德任司令，陈毅任指导员，王尔琢任参谋长。整编后的部队分散在崇义的上堡一带的山区开展游击战争，发动农民打土豪分田地。不久，部队又收到中共广东省委要求南下参加广州起义的命令，当部队抵达离韶关30里的犁铺头时，又得知广州起义已经失败，他们只得就地驻扎下来。

为了保存实力，朱德利用和国民党第16军军长范石生的关系，使部队暂时挂上第16军第104团的番号。范石生是朱德云南讲武学堂的同班同学，他让朱德化名为王楷，凭此，范石生给予了部队部分给养。不久，蒋介石发觉驻守在犁铺头的队伍竟然是南昌起义的余部，就严令范石生“就地解决”。朱德率领部队迅速撤向敌人力量薄弱的广东乳源县北部与湖南宜章县边境。

1928年1月12日，朱德带领伪装成国民党军的起义部队，开进宜章县城，宜章县长不知真假，还在县咨议局为他们举行接风宴会。酒过数巡，王尔琢指挥一个排按照预定计划，逮捕了反动官吏及地主豪绅20多人。接着，王尔琢又率队包围养正书院，解除了县团防局的武装，并收缴了近400支枪，打开监狱，释放了在押犯人。第二天，全纵队正式改为工农革命军第一师，全师共1200余人，由朱德任师长，陈毅任党代表，王尔琢任参谋长。因为智取宜章的时间是在旧历年前10天，所以又被称为“年关暴动”。

2月29日，林彪带领一个连护卫后勤辎重从永兴赶往耒阳，走至耒阳东南小水铺时已是深夜，大地一片漆黑，淅淅沥沥的小雨下个不停，山路崎岖不平。突然间，数百名国民党民团团丁从暗处杀出，紧急时刻，林彪命令部队收缩，拼死抵抗，好不容易才将敌人击退。林彪清点一下部队人数，发现伤亡30余人，押运的军用物资被抢劫一空。林彪领着剩余的战士沮丧地来到耒阳城。知道情况后，慈祥的朱德大为震一言不发。林彪决心复仇，朱德批准了他的计划。