事情是这样的。当部队到大庾（现大余）县城时，队伍里人数最多的湖南人闹着要回湖南，林彪约一些黄埔军校毕业的中下级军官一起找到陈毅，表示要离开部队另寻出路，还劝陈毅和他们一起走。他们对陈毅说:“队伍不行了，你是个知识分子，没有打过仗，没有搞过队伍，我们是搞过队伍的，与其当俘虏，不如穿便衣走，到上海另外去搞。”陈毅说:“我不走，现在我拿着枪，可以杀土豪劣绅，我一离开队伍，土豪劣绅就要杀我。所以，我不能走。”有几个要走的听了陈毅的话后还是留下了，后来他们都阵亡了，林彪与少数几个动摇分子离开了部队，朝梅关方向走去。但在山林中，他们遭到反动民团的搜捕、追杀，林彪也与那几个一起离队的人失去了联系，一人踽踽前行。路上，一位好心的山民告诉他，梅关一带的路隘、关口被地主“挨户团”把守得水泄不通，只要碰到操着外地口音的人，轻则搜去财物痛打一顿，重则砍头。在走投无路的情况下，林彪只得返回部队。回到部队后，林彪向陈毅检讨说:“现在外面老百姓收腰包打人，有时还要杀人，我还是回队伍里来吧。”陈毅就说:“你现在不走就好，回来我欢迎，还是把你的七连抓好吧。”

最早发现他军事才能的“伯乐”是朱德

1927年10月底，国民党内部粤、桂两系之间爆发战争，朱德、陈毅率领的起义部队才得以在赣南的大余、崇义一带休整。所有的部队被整编为一个纵队，由朱德任司令，陈毅任指导员，王尔琢任参谋长。整编后的部队分散在崇义上堡一带的山区开展游击战争，发动农民打土豪分田地。不久，部队收到中共广东省委要求南下参加广州起义的命令，当部队抵达离韶关30里的犁铺头时，得知广州起义已经失败，他们只得就地驻扎下来。

为了保存实力，朱德利用和国民党第十六军军长范石生的关系，使部队暂时挂上十六军第一零四团的番号。范石生是朱德云南讲武学堂的同班同学，他让朱德化名为王楷，凭此，范石生给予了部队部分给养。不久，蒋介石发觉驻守在犁铺头的队伍竟然是南昌起义的余部，就严令范石生“就地解决”，朱德只得率部迅速撤向敌人力量薄弱的广东乳源县北部与湖南宜章县边境。

1928年1月12日，朱德带领伪装成国民党军的起义部队，开进宜章县城，宜章县长不知真假，还在县咨议局为他们举行接风宴会，酒过数巡，王尔琢指挥一个排按照预定计划，逮捕了反动官吏及地主豪绅20多人。接着，王尔琢又率队包围养正书院，解除了县团防局的武装，收缴了近400支枪，并打开监狱，释放了在押犯人。第二天，全纵队正式改为工农革命军第一师，全师共1200余人，由朱德任师长，陈毅任党代表，王尔琢任参谋长。因为智取宜章的时间是在旧历年前十天，所以又被称为“年关暴动”。

2月29日，林彪带领一个连护卫着后勤辎重从永兴赶往耒阳，走至耒阳东南小水铺时，已是深夜，大地一片漆黑，山路崎岖不平，小雨淅淅沥沥下个不停。突然间，数百名国民党民团团丁从暗处杀出，紧急时刻，林彪命令部队收缩，拼死抵抗，好不容易才将敌人击退。林彪清点一下部队人数，发现伤亡30余人，押运的军用物资被抢劫一空。林彪领着剩余的战士沮丧地来到耒阳城，知道情况后，朱德大为震怒，平时就不善言辞的林彪更是羞愧得一言不发。林彪决心复仇，朱德批准了他的计划。

3月3日晨，林彪一行化装成“国民革命军第十九军”向小水铺开来。驻扎在小水铺的民团头头谭孜生，刚刚抢得林彪押运的辎重，他做梦也没有想到来的这群人是林彪部队化装的，立即设宴款待。宴会上，林彪举杯为号，大厅里的20余名“国军”军官一起举起枪向谭孜生开火。这次行动，林彪不仅夺回了被抢的全部辎重，还俘虏了数百名团丁。

接下来林彪做的几件事，让朱德对他有了一个全新的认识。3月初，国民党桂系第十九军李宜煊师将起义军逐出耒阳城。参谋长王尔琢指挥起义军主力从耒阳城西门发起反攻，以收复耒阳城，激战一个多小时，毫无进展。李宜煊从枪声中听出起义军只有少量轻机关枪，根本没有重武器，于是下令打开西门，向我军主动发起冲锋，王尔琢见势不妙，命令起义军撤出阵地。当朱德等人准备放弃耒阳城时，连长林彪站了出来。他对众人分析说:“现在耒阳城内，敌人多半是在领功请赏，戒备必定松懈，我军应该趁敌不备，连夜大举反攻。”按照林彪的设想，朱德所部最终收复了耒阳，消灭敌军百余人，抓获俘虏80余名，缴获枪枝500 余支。