因张闻天与博古、王明等人是莫斯科中山大学的同学，都受共产国际委派回国工作，博古负总责，张闻天是三大常委之一。国际顾问德国人李德曾对他说，这里的事情还要靠莫斯科回来的同志办，意思是要张闻天跟他们站在一起。但张闻天通过实践，与他们的分歧还是日益加深。长征时在行军途中，张闻天向毛泽东倾诉了内心的苦闷和忧虑。两人经过长谈，一致认为应纠正李德、博古的错误。于是，在1935年初的遵义会议上，张闻天在博古的报告后，根据毛泽东的意见作了批判“左”倾军事错误的“反报告”，并负责起草了遵义会议决议，从而确立了毛泽东在党内、军内的领导地位。
张闻天从年轻时起就喜好理论研究和宣传，不长于处理琐事。他戴着眼睛，不苟言笑，常在沉思问题，从外表看完全像一位温文尔雅的学者。他被推为总负责人之后，自己感到并不完全适合于领袖地位。1935年4月红军长征渡过北盘江后，要派一位中央负责人到白区工作，张闻天主动要求离职前去，毛泽东等不同意而改派了陈云。同年夏天，红一、四方面军会师后，为了表示团结，他又主动提出将自己的职务让出来，被毛泽东劝止。
1938年秋天召开六届六中全会前，共产国际确认毛泽东为中国共产党的领袖，但职务并未明确。于是，张闻天又在会议期间诚恳地提出，应推举毛泽东为当中央总书记。毛泽东经过全面考虑，对张闻天说：“洛甫，你是‘明君’，开明之君，党中央总书记继续由你担任吧。”会后，张闻天却“主动让贤”，将工作逐步转交给毛泽东，中央政治局会议的地点也由他过去的窑洞移到杨家岭毛泽东的住处。“让贤”之后的张闻天，主要从事党的宣传教育方面的工作。
他一向敬重毛泽东，却又从不盲目，有独立见解并愿意不断探索。脱离负责岗位后，他自感缺少实际经验，于是去搞农村调查，随后提出一个将来如何使农民富裕的生产方式设想。当时的环境使这一设想不能实现，不过几十年后再看这一见解，人们却不能不佩服张闻天的远见。
