4点半左右，愤怒的学生到达曹宅，大叫“卖国贼！卖国贼！”许多学生都向窗口和墙头抛掷石头和白旗子。曹的父亲患半身不遂，这时正坐在廊下，由一婢一僮服侍。一块石头飞来，由婢女挡住，打在她的背上，曹的父亲未被掷中。

学生要冲进曹宅，可大门已关。这时，有学生爬上一个不太高的围墙，打破窗口玻璃，跳进曹宅。然后陆续有学生进去，并从里面把大门打开。此后，大群学生涌进曹宅。

打进曹宅后，学生满以为曹、章等人正在客厅开会，不料，客厅和书房都找不到人。激动的学生便把客厅、书房的花瓶瓷器等物捣毁在地。接着，学生又跑到曹的两个女儿的卧室，两女不在，就拆下铁床的柱子和零件，转到曹汝霖妻子的卧房。曹妻锁了房门，学生便用铁柱撞开房门，问曹在何处。曹妻答，他在总统府吃饭未归。学生便把所有镜框家具完全打碎，把首饰等物抛掷在地，用脚踩碎。

随后他们又走到曹汝霖父亲的房里，打开橱门见有燕窝银耳之类，取出匣子摔了满地。曹父说，这都是人家送的，舍不得用，就送给你们好了，何必暴殄天物？但学生们还是践踏得粉碎而去。

放火、殴人与“烈士”

曹汝霖仓促间躲进一个小屋，章宗祥、丁士源和日本记者中江丑吉在仆人引导下躲进地下锅炉房。混乱中，学生没有发现曹汝霖藏身的箱子间，直到警察总监吴炳湘赶到，抓了学生，曹才从里面出来。

其间，北京高师学生匡互生取出随身携带的火柴，决定放火。匡的这一举动被北大学生段锡朋发现，段阻止匡说:“我负不了责任！”段是北大的学生领袖，而北大又是学运中坚，因此，段和游行总指挥傅斯年一样，自认为是要对此次活动负责的。匡互生毅然回答:“谁要你负责！你也确实负不了责任。”结果仍旧放了火。

当时，除了段锡朋以外，还有一些同学，特别是法政专门学校的学生，认为放火殴人是超出理性的行为，对此颇有非议。

章宗祥等在锅炉房听到上面放火，即跑出来，向后门奔走。章身着礼服，学生们以为他就是曹汝霖，把他包围起来打了一顿，忽然有人说“打错了”，大家便一哄而散。这时，中江丑吉和曹家的佣人，把章宗祥抬出去，停在一间杂货店里。忽然，群众中有人又叫“刚才并没有打错”，大家又去杂货店把章宗祥拖回曹宅继续打。

此前，一些学生刚看过章宗祥的照片。北京高师5月3日晚开过一个会，议决用猛烈的方法惩戒曾经签字“二十一条”的当事者曹汝霖、陆宗舆、章宗祥。当时有一位同盟会老同志曾秘密地将章宗祥的照片交给他们，因为曹、陆的相片在大栅栏等处的照相馆时常看见，而章则任驻日公使，面貌不甚熟悉。

混乱中，学生看见起了火，又听见有人大叫“曹汝霖已经给打死了”，很多人可能害怕做得有些太过分了，纷纷散去。此后，军警前来捉人，32个学生被押去警察厅。

章宗祥被警察送进同仁医院，此后两天没有大小便，医生说他命在旦夕。学生们担心，这一次有放火殴伤等重大情节，政府又抓了学生，如果用学生抵命怎么办？

就在这个时候，北大有一位叫郭钦光的同学，刚巧死了。郭原本有肺病，在5月4日那一天，可能跑得太用力了，吐血加重，不久便去世。学生怕章宗祥同他们打官司，北大学生狄君武提议，大家定下一个策略，硬说郭钦光是5月4日那天被曹家仆人打死的。于是，郭钦光成了“五四”运动中唯一的“烈士”，“受各处追悼会之无数鲜花美酒吊祭，和挽章哀辞的追悼”。上海还有一位女士当众痛哭郭烈士。