现实的残酷，容不得张国焘“一心的上课去”，追捕的黑手已慢慢伸向他了。虽然他此时已辞去学联的工作，但作为“学生要人”，他的名字仍然上了当局的黑名单。为了躲避警察的追捕，他不得不于12月秘密离开北京，悄然南下，在上海住了半年。待第二年北京风声渐松，他才得以重返。

张国焘一生最有缘的两个城市，一个是北京，另一个就是上海。在这里，他成功过，幸福过；也失意过，彷徨过。他对上海，也总有第二故乡般的亲近感。在上海的半年里，他结识了胡汉民、汪精卫、戴季陶、张东荪等名流，以其三寸不烂之舌，游弋于国民党上层人物和社会名流之间。

可是，当张国焘告别了十里洋场、灯红酒绿的大上海滩，回到宫阙巍峨、天子脚下的北京时，却发现已是物是人非、情变境迁了。同张国焘一起共过事的段锡朋、罗家伦、康白情、周炳琳、汪敬熙5人，得到胡适的赏识，先后被送到欧美留洋镀金去了，当时教育界人士戏称之为“五大臣出洋”。见到此情此景，张国焘不免很是怅然。他回忆这段时期的心情时写道:

“五四运动中的一些共事的同学们，多半已离开了学校。在上海的几位北大学生代表都已毕业，准备出国留学。罗家伦已结束了他的代表任务，在那里和各方要人及文化界人士接触，准备不久到美国去。五四运动另一个要角，风流诗人康白情，虽无代表的任务，也同我们一道活动。他曾在上海徐家汇一个花园里举办名震一时的踏青会，参加的有青年男女200多人。他为这种交际弄得有点神魂颠倒，几乎连到美国深造的机会都置之脑后……此外，五四运动中的健将段锡朋、周炳琳等同学也先后赴美求学，路经上海，都曾和我朝夕相聚。只有我，在北大还有两年的课程，照理自然该即时北返。”

半年的流浪生涯，使张国焘成熟了不少。见到同学们纷纷出国，除了怅惘之外，他也开始准备振作起来，在政治上力求有所作为了。

回到北京后，张国焘立即去拜访李大钊，希望从他那里请教一些对人生之路的看法。李大钊便劝这个五四运动的积极参加者，加入自己创建的“马克思学说研究会”，“走俄国人的道路就是中国的出路！”张国焘深受感染，不觉又萌生出拯救国民于水火的宏大志向来。于是他开始“热心研究马克思主义，设想去了解俄国革命，相信这里面包含有救国救民的良方”。以此为起点，张国焘开始逐渐由五四运动中的“学生要人”，转变为中国早期共产主义运动的积极分子，并启幕了他近20年的“革命生涯”。