5月1日，中国外交失败的消息传到了北京。这一消息如同晴天霹雳，引起了人们的极大震惊与愤慨，当天下午，国民杂志便召集各校学生代表，在北大西斋饭堂召开紧急会议，讨论对付的方法。最后学生们决定以国民杂志社的名义，通告北大全体同学，于5月3日晚，在北河沿北大法科大礼堂举行全体学生大会，并邀请工专、高师、农专、法专等各大中专院校学生代表参加。

5月3日早晨，几乎北京所有报纸都报道了中国在巴黎委员会上外交失败的消息，北京群众情绪更加激动。

当晚7时，北大学生在北河沿法科大礼堂按时展开了会议，各校代表也纷纷到场。大会首先请北京新闻界人士报告巴黎和会上中国外交失败的原委。接着，北大各社团代表和学生代表络绎发表演说。很多同学的讲演慷慨激昂，不少人悲愤欲绝。张国焘也抑制不住自己激动的心情，走上台去，大声疾呼:“国家兴亡，匹夫有责！连一个弱女子都敢在总统府门前为国请命，而况我们新青年呢？”说到痛处，不觉声泪俱下。原来，就在当天上午，有一位女学生刚听到中国外交失败的消息，便伤心而愤恨地跑到总统府门前大哭大喊了一阵，北大学生皆有耳闻。张国焘此言一出，学生们情绪更加激动。当一位法科学生当场咬破中指，撕下衣襟，血书“还我青岛”四个大字时，全场为之动容，气氛达到最高点。还有一位学生为激发大家的斗志，拿起菜刀，准备当场自杀，以死劝勉世人。会场上响起“游行去！”“去总统府！”“打倒卖国贼！”的口号声。

大会最后做出4项决定:1、联合各界，一致力争。2、通电巴黎专使，坚决不签字。3、通电全国，将于7月7日国耻纪念日举行游行示威。4、定于5月4日齐集天安门前，举行学界大示威。

5月4日那天上午，北大学生齐集于马神庙第一院内，准备出发去天安门。张国焘一身白衣，十分醒目。他手持一条标语，上书“内惩国贼，外争国权”，满脸的兴奋与激动。自从参加学生运动以来，这一次是最重大的活动。

这时，身穿长衫、戴着圆眼镜的蔡元培校长走了过来。他走到人群前面，伸手示意大家安静后，大声说:“同学们，你们的心情我可以理解，但我们不要这么冲动吧。大家先回去，有什么要求，可以通过校方来向政府反映。”人群中立即爆发出一片叫喊声:“我们要游行！”“去天安门！”“校长不要阻拦！”

张国焘平日里同校长打交道比较多，与蔡先生比较熟悉。这时他见蔡元培站在道上不肯走开，而日头已渐渐升起，不觉心急起来。他向几个同学使了个眼色，便走上去，高声喊道:“示威游行势在必行，校长事先本不知道，现在不必再管。请校长回办公室去吧！”一边说着，一边和其他几位连推带请地将蔡元培拥走了。这时，游行队伍在一片欢呼声中，浩浩荡荡地向天安门进发了。

下午1时，各校学生打着写有“收回山东特权”、“惩办卖国贼”、“拒绝和约签字”、“废除二十一条”等口号的标语，陆续云集在天安门广场。临时推举的大会主席廖书仓宣告大会正式开始；接着，各校代表纷纷登台演讲。只见参加集会的男女学生人山人海，旗子、横幅如林蔽日，随风抖动，猎猎作响。

长安街上挤满了赶来围观的各界人群，潮水般地一同涌向天安门。北京大学师生作为参加游行的主力，因路上警察多番阻拦，最后几乎是小跑般地赶到了广场。李大钊等人也随着学生赶来了。

集会讲演之后，大会主席当场宣布:“游行开始！向东交民巷前进！”以北大学生为前导的声势浩大的爱国游行遂开始了。走在游行队伍最前边的两位身材高大的男同学举着白布做成的横幅，上面写着十个斗大的毛笔字:“收回山东示威游行大会”。后面有人举着一幅中幡，上面竖写着两行大字，合成一幅对联:“卖国求荣，早知曹瞒遗种碑无字；倾心媚外，不期章惇余孽死有头”。落款写着:“北京学界挽卖国贼曹汝霖、章宗祥遗臭千古”。刹时间，随着游行者手中的小旗举上落下，口号声此起彼伏，震荡着古城北京，向着神州朗朗的长空飘散而去……

张国焘、邓中夏等几个学生领袖走在队伍中间，紧紧地跟着李大钊等人。