当北大的学生率先得知中国代表团在巴黎和会失败的消息时，决定在5月4日举行示威游行运动。但是，5月4日的游行运动在东交民巷受到了阻拦，愤怒的学生冲向了曹汝霖的住处赵家楼。由于没有找到曹汝霖，怒火冲天的学生火烧了赵家楼，痛打了章宗祥。正当学生准备撤退回校时，反动军警们赶到并且逮捕了32名学生。随后，在蔡元培等人的努力下救出了这些爱国学生。由于北大学生成为这次运动的主力军，所以蔡元培校长以“失职”的名义被反动政府威胁辞职。随后，学生们又开展了一系列与政府对抗的活动。
（一）云集天安门
虽然有的学校已经在5月3日晚上筹备运动，但是还有一些学校不知道5月4日的计划。因此，在北京大学学生的积极联络下，在5月4日的上午10时，又在法政专门学校召开了一个各校学生代表会，大会制定出了游行的路线，决定由天安门经东交民巷美、英、法、意四国使馆，转入崇文门大街。
当年的会议参加者周予同回忆说：“5月4日上午，各校派出的代表，在法政专门学校举行了联合会议。到会的有数十人，我是高师的代表之一。大家积极讨论了游行示威的进行办法，决定散布‘北京学界全体宣言’，提出‘外争主权，内除国贼’的政治斗争口号。那天由高师工学会代表联络到的各校激烈分子，有20人左右。大家相约暴动。”又说：“被推担任天安门大会主席和游行总指挥的同学，都是北大新潮社等组织的。”
“1919年5月4日下午1时许，北京十几个学校的学生大概千余人，从四面八方汇集天安门，围立在金水桥前的两个华表之下。从前面我们可以得知，北京大学的学生是最先知道巴黎和会失败的消息，也是最先发起这次运动的倡导者，但是他们却是最晚到达天安门的”。这其中还有什么曲折的经过吗？原来，北大的队伍被教育部的代表和几个警察拦住了，强行阻止他们去参加游行。学生代表邓中夏、黄日葵等人和教育部的代表展开了一段时间的辩论，然而始终无法得到他们的首肯。于是，愤怒的学生强行突破他们的阻拦，急速奔向天安门。当北大学生队伍到达天安门的时候，其他各校学生已经到达了，看到这么多同学，大家都充满了昂扬的斗志与信心。学生们手里拿着各种颜色的小旗，上面写着“取消二十一条”，“还我青岛”，“誓死力争”，“保我主权”，“争回青岛方罢休”，“宁为玉碎，不为瓦全”，“头可断，青岛不可失”，“诛卖国贼曹汝霖、章宗祥、陆宗舆”，等等。有的标语是用英文或法文写的，也有的旗子上画着漫画。3日晚上北大学生血书“还我青岛”的那块衣襟，也悬挂在这里，激励着学生们始终保持着满腔斗志。按照原计划，学生们集合天安门的目的就是游行示威，向“总统府”及英、美等帝国主义国家使馆抗议，展示中国人民捍卫国家主权的爱国之心，学生们在天安门有一个短暂的集会。有人演说，有人喊口号，并且开了一次群众大会，很多人发表了演说，向围观的群众说明游行示威的意义，并把巴黎和会的失败以及会议带来怎样的影响向群众一一解释清楚。因此很多爱国的群众也都积极参与进来了，游行示威的人数也就增加了许多。大会决定先向各国公使馆游行示威，再向总统请愿，要求惩办卖国贼曹汝霖、章宗祥、陆宗舆，拒绝在巴黎和约上签字。在短暂的集会后，学生们立即准备向使馆区进发。在这次运动中，北大国民社和新潮社的同学还为这次游行准备了宣言，宣言的内容气壮山河，显示了中华儿女的不屈气概，北京学界全体宣言内容如下：现在日本在万国和会要求并吞青岛、管理山东的一切权利，就要成功了！他们的外交大胜利了！我们的外交大失败了！山东大势一去，就是破坏中国的领土！中国的领土破坏，中国就亡了！所以我们学界今天排队到各公馆去要求各国出来维持公理，务望全国工商各界，一律起来设法开国民大会，外争主权，内除国贼，中国存亡，就在此一举了！今与全国同胞立两个信条：中国的土地可以征服而不可以断送！中国的人民可以杀戮而不可以低头！国亡了！同胞起来啊！
当时汇集在天安门前的，除各校学生外，还有许多闻讯而来的旁观者。当他们听到学生们的讲演和看到现场散发的传单后，顿时对学生表示同情，并且自愿加入到游行队伍中来了。然而就在学生队伍即将开始行动的时候，曾经阻挠北大学生出发的那位教育部代表又跟踪而来了，并且非常蛮横地阻挠学生的集会游行。同学们以万众一心、同仇敌忾的气魄，吓走了这位所谓的教育部代表。北洋政府又派来步军统领李长太和警察总监吴炳湘，先后对学生的游行活动进行干涉。李长太对学生们威逼恐吓，又软硬兼施，但是群众的爱国、救国之心丝毫没有被打动，吴炳湘等人的劝说并没有任何的作用，反而被爱国的学生训斥了几句。这些国内的反动派，主要是怕得罪了外国人，从而引起国际纠纷，进而威胁到他们的统治。但是，爱国的学生们是无所畏惧的。他们愤而冲破反动派的阻挠后，直奔东交民巷而去。学生们之所以来到这里，是因为这一带是当时北京城内的行政区，在那里有许多中国的行政机构及市民住宅。“第二次鸦片战争后，各国驻北京的使节相继来华，就在此附近设立公使馆。1900年义和团运动被镇压后，清朝政府和各帝国主义国家于1901年签订了丧权辱国的《辛丑条约》后，这个地方就不再让中国人随意通行了。帝国主义拆毁了中国居民的房屋作为他们自己的使馆区。他们在使馆界四周筑起高厚的围墙，墙外留有空地，树立着‘保卫界内，禁止穿行’的木牌。在这里，就是中国的军警也是不能随意穿行的。”5月4日下午的学生游行队伍，由天安门出中华门行至东交民巷的西口时，就被阻于铁栅栏之外，原来反动派们早已作好了准备，命令军队阻挠游行的队伍。在学生的要求下，该巡捕表面上说和总统打电话其实是故意拖延时间，因此两个小时之后，学生们在烈日之下没有等到任何总统的消息。学生们游行的队伍已经不可能按原定的计划通过使馆区，向帝国主义国家示威了。在自己国家的领土上也不能自由通行，这让学生们更为愤怒，这时有人高呼：“到外交部去，到曹汝霖家里去。”这个提议立刻得到了大家的赞同，于是大家就准备改变方向去曹汝霖的家里。这时负责总指挥的傅斯年恐怕出现意外，极力阻止大家，但是学生们的怒火已经无法控制了，像洪水一样奔向赵家楼了。
（二）火烧赵家楼
赵家楼是曹汝霖的住宅所在。学生们一边向赵家楼前进，一边散发随身携带的传单。满腔爱国之心的学生们边行进，边宣传，充满强烈的爱国之情。围观的人民群众也被这些爱国学生的义举所打动。甚至许多巡警看到、听到后也不禁潸然泪下。“当学生到达赵家楼胡同时，曹宅门窗紧闭，外面围满了荷枪实弹的警察，原来反动派们早已有所准备了。学生们在曹宅大门外高声呼喊：‘卖国贼曹汝霖快出来见我们。’当愤怒的学生们去叩击大门时，周围警察立即上前阻拦学生，学生们与警察发生激烈的争执。就在一些学生和警察理论，对他们宣传爱国思想的时候，还有一些学生围着屋子走，他们在寻找是否有破门之处。然而，曹宅的结构十分保险，很难找到破门进屋的漏洞。僵持了一段时间后，一些学生因为门打不开而准备分别退走时，忽然听到一声洪亮的响声，卖国贼曹汝霖家的大门被打开了。原来一些勇猛的学生不顾警察的恐吓，冒着失去生命的危险，爬进曹宅，从里面把门打开了。”这时候，曹汝霖宅内的十几个全身武装的卫兵，已经被外面的如雷贯耳的呼喊声吓得不知所措了，这时看见学生异常勇猛地破门而入，两股力量相比，反动势力明显较弱，他们知道已经无法阻挡学生们的进攻了，就干脆放下了镇压学生的念头，退到一边，让先进去的学生把里面紧闭的后门打开！这时候，外面的学生便犹如洪水般地冲了进来。看到学生们如此勇猛，已经无法逃走的曹汝霖、章宗祥就在后院迅速地躲藏了起来。4时30分，学生们把曹宅上上下下找了好多遍，也没有找到曹汝霖的踪影。学生们不甘心就这样回去，于是，一个同学取出随身携带的火柴，在曹汝霖家放起了大火。
而关于章宗祥被学生殴打的事情，现有的书籍中有不同的记录，一种是火起之后说，和匡互生一起参加运动的一位学生在后来的回忆中说：“当学生们正在宅内肆意捣毁，房屋也燃烧起来的时候，我们看见有几个警察和许多佣人拥护着一个老太婆和一个年轻女子慌张出来夺门而去，因为他们不是曹、陆、章，我们就把她们放走了，据说她们是曹汝霖的母亲和小妾。我们又看见几个警察和许多佣人维护着两个穿西装的中年男子逃出去，许多学生跟着追赶，见他们逃进一个小杂货店内，就把二人拖出来推倒在地上，用手执的小旗杆子对着当头乱打，打得一个人头破血流，另一个人宁愿自己挨打，拼命保护他。不久大队警察赶到，舞起木棒和指挥刀驱散了群众；我们也恐打错了人，不是卖国贼而是日本人，因而松了手。”
有书籍记载说，在曹宅起火之前，学生们即痛殴了章宗祥。匡互生在《五四运动纪实》中也作了这样的记载：“在曹宅西院火光初现以前，忽然在东院房间的木桶里走出一个穿着打扮都很像一个日本人的人，被一个同学赶上前去用一根旗杆劈头一击，那人就倒身在地佯作身死，于是动手打他的人就往后走去，而一时‘曹汝霖已经被大家打死了’的喊声就传遍了内外，胆怯的同学就乘机回校避祸去了。但是一些激动的学生们却争先恐后地去看那个被打死的人，以证实当时的传言是假是真；哪里知道刚才那个躺在地上假死的人已乘机逃到外面的一间皮蛋店里了，但是后来却被另一批搜寻章宗祥的人在皮蛋店里面的一间黑屋的床下搜寻出来了，愤怒的学生们拉住他两只脚从那间黑屋倒着拖到皮蛋店的门口，大声地问他是什么人，但是无论学生怎样问，他都一副沉默的样子，一言不发，大家耐不过，就用手里的小旗杆向着他的面孔上乱打横敲，而那些手中没有武器的同学就只得权借皮蛋做武器向被打人的头上砸了几百个皮蛋。这个被打的人的头上布满了鲜血，并且耳目口鼻已被皮蛋汁塞满了。不过与此同时，却有一个真正的日本人负重伤死力保护他，大家因此颇怀疑那被打的人是日本人，所以不曾把他打死，因为那天到场参观的西洋人、日本人实在是不少，很有令人怀疑的原因。哪里知道他正是那个向日本政府亲递有‘欣然承诺’四字的换文的驻日公使章宗祥。”当同学们知道那天被打的人正是章宗祥时，纷纷懊悔不已。
（三）学生被逮捕
就在曹宅起火后大约半个小时后，警察总监吴炳湘、步军统领李长太就率领大批军警赶到了赵家楼。此时，参与运动的大部分学生已回学校了，军警就逮捕了还没有散去的学生32人。学生被捕后，32人全被关在一间狭小的屋子里，空气肮脏。随后，警察总监吴炳湘派车将曹汝霖及其家人送往东交民巷的六国饭店。章宗祥也被护送到日华同仁医院。这时，消防队也已赶到曹宅，将火扑灭。总统府和警察总监开始商讨如何镇压学生的运动。
总之，反动派慌作一团，对学生们的爱国行动恨之入骨。他们百般设法，企图将已经掀起的革命浪潮镇压下去。当时在对如何处置被捕学生的问题上，反动政府内部是有分歧的：有的主张交大理院审清主使，然后从严惩办；有的主张不必移交法庭，关押在警察厅内就可以了。
5月4日晚，北京各学校的学生也在召开大会，主要目的就是如何营救被捕的学生。蔡元培校长对学生深表同情，并且向学生保证会把被捕的学生救出来；但同时他又劝告学生要正常上课。但是学生们并没有采纳这一建议，相反他们决定应该成立北大学生干事会，进一步扩大运动的范围。5月5日上午，北京各大专学校学生代表召开会议决定开始罢课。
学生们被捕后，教职员们也都通过多方面的努力，积极营救被捕的学生。除此之外，一些社会人士也以团体名义或个人名义致电总统府，要求释放被捕的学生。在巨大舆论的压力下，徐世昌也不得不作出让步，不过他是有条件的让步，那就是5月7日不许学生参加群众大会并且各校一律复课。考虑到被捕学生在狱中的处境，蔡元培等人急于救学生出狱，就完全答应了这两个条件。
为了救出被捕的同学，学生们于7日开始复课了。复课后，徐世昌也遵守诺言释放了被捕的学生。在这次被捕的学生中，北京大学和北京高师的学生占了较大比例，当警察厅用车子把这些学生分别送回学校的时候，北大和北师大的同学和教员早已经站在校门口等待他们多时了。当北大被捕的学生们走下警车，站在同学们为他们准备好的方桌上时，大家因为情绪太过紧张了，以至于没有一个人说话，只是互相望着，满含热泪。高师被捕的学生回到学校时，在校门口等待他们的同学和附近的居民们立刻给他们戴上鲜艳的大红花，大家兴奋之余，还把学生们一个个地高高举起，并且为这激动人心的一刻留下了两张珍贵的照片。这些学生被释放后，向大家讲述了他们在狱中的生活，他们住在一间极为肮脏的屋子里，生活条件极其恶劣。无论反动军警们如何威逼利诱，他们没有一个人说出运动的组织者，始终保卫着自己的同学。大家纷纷对这些学生表示赞赏和敬佩。
（四）蔡元培出走
就在同学们酝酿下一步的计划时，又有一件大事情发生了，那就是北京大学校长蔡元培的出走。“由于北京大学是新文化运动的中心，又是‘五四’示威游行的发动者，因此蔡元培就成了反动派攻击的目标。”当时的情况十分复杂，反动派对学生的游行示威活动及火烧赵家楼已经十分恼火，在不能名正言顺地惩罚学生时，就想用其他一些方式打击学生的积极性。北洋政府将对蔡元培以及北大学生开展报复的说法一时间传遍了北京城，有的说反动政府已经准备暗杀蔡元培和北大学生等等，这些得不到确切的证实，不过在许多传说中，有一条却是事实，即北洋政府要撤掉蔡元培的校长职务。