二万五千里长征是中国工农红军谱写的人类历史上无与伦比的英雄史诗。人们在谈到长征这一段历史时很少提及陈云。其实，陈云也参加了长征，尽管由于中央的特殊安排，陈云没有走完全程。1936年，毛泽东在接受美国记者埃德加·斯诺采访时曾把长征的胜利归功于党的正确领导，并开列了18位党的重要领导人的名单，其中就提到陈云。

1934年10月10日晚，中共中央和中央军委率领党政机关、军委总部及直属部队编成的军委第一、二纵队（对外称红星、红章纵队）从瑞金出发，红一、三、八、九军团随后从各自驻地出发。

当时，中央红军撤离苏区之前，党中央、中央军委决定向红军第五、第八、第九军团派中央代表，并决定由陈云担任第五军团的中央代表。

五军团担负殿后任务。10月18日，陈云随红五军团从兴国县曲利出发，踏上了漫漫征途。红五军团担负的全军后卫任务是极其艰巨的，当时红五军团只有两个师6个团的人马，要挡住数倍于自己的敌人，谈何容易!更为严重的是，当时的中央领导人，在实行突围和战略转移时，犯了退却中的逃跑主义。不久，红五军团在湘江之战中受到了沉重的打击，几乎陷于全军覆没的境地。此时的陈云也越来越认识到“左倾”机会主义的危害。他和大多数红军战士一样，急切地盼望红军能够扭转这种局面，走出困境。

1935年初，刘伯承和陈云率领军委纵队成功地渡过了乌江天险，于1月9日进驻贵州遵义。

1月15日至17日，召开了著名的遵义会议。陈云作为中央政治局委员、常委出席了这次会议。陈云在发言时肯定了毛泽东等关于红军作战的基本原则，坚决支持了毛泽东等人的正确主张。