蒋介石扣留胡汉民的行动，引起的反应是非常强烈的，为他始料所不及。李宗仁仗赖他这一措施，才能从局处南宁的困境中摆脱出来，收复桂东富庶地区，进而与陈济棠紧密合作，形成割据局面，以与蒋介石唱对台戏。
在胡汉民手下大将、国民政府文官长古应芬的策动下，铁道部孙科、南京市长和新任立法院院长林森先后离开南京南下广东，继而隐居天津、上海、港澳，各地原来反蒋的国民党人也陆续到粤，酝酿一个新的政治局面。陈济棠看到时机成熟，于一九三一年四月二十二日派马晓军、吴锡祺来到南宁，向李宗仁、白崇禧、张发奎表示释嫌修好。四月二十五日，李、白、张派王公度、吴奇伟偕吴锡祺去广东报聘，洽商两广真诚合作，在广州树起反蒋旗帜。
四月三十日，在广州国民党中央监察委员邓泽如（1869—1934，广东新会人。1907年加入中国同盟会，曾主持同盟会南洋支部为同盟会承担筹款任务。1920年应孙中山号召回国后，任大元帅府大本营建设部部长、两广盐运使、国民党广东支部支部长。1923年与林直勉等上书弹劾共产党，反对国共合作。后又分别与张继、吴稚晖等对共产党提出弹劾案，为国民党右派首要人物之一。）、林森、萧佛成、古应芬等发出弹劾蒋介石的通电，列举蒋介石犯了下列的罪行：
一是起用政学系杨永泰之流。通电指出：“政学会员，昔虽曾隶党籍，自袁氏窃国，即已叛离。民国七年总理南下护法，杨永泰勾结桂系（陆荣廷），窃取政权，排斥总理以去；今杨氏则时时追随蒋氏之侧，参与密勿矣。其他余孽，夤缘充任要职者比比。”（此电也是古应芬起草的，胡汉民一向以政学系为政敌。）
二是陷害许崇智及其他革命同志。通电说：“许崇智同志献身革命，无有宁息，驰驱闽赣，功业彪炳。蒋氏其不备，夺其兵柄，迫令离粤，取而代之，革命粤军，多予消灭。有功者因其所巷，比肩者尤其所畏，故其倾陷同志，先捏造其人之罪状，以眩世人耳目，藉以毁其名誉与人格，而己乃得为一党之领袖，因以求取大欲，经其罗织之案，不可胜纪。”
三是扣留胡汉民。通电说：“胡汉民同志以国民会议不应议及约法，与蒋主张不合，被其监视。蒋犹出席纪念周演讲党员自由问题，且公然指胡同志不能出京，其非法捕禁，已为中外人士所共知，而蒋氏犹复扰乱是非，颠倒事实，欲以一手掩尽天下耳目。蒋氏与胡同志为同列，究有何职权而得迁怒监禁中央重要人员耶？”
通电最后指出：“总之，观蒋氏之罪，至今已暴露无余，同志等夙昔之休容，冀其翻然悔悟，戮力国事者，至今日亦成绝望。循此以往，则总理艰难缔造之事业，人民为革命无数之牺牲，以及我武装同志积年之奋斗，其结果只造成个人之地位，而以阴贼险伪之人，腼然民上，中国数千年固有之道德，总理所力图恢复者，已供其断丧无余，腾笑列邦，见讥后世，天下痛心之事，孰有甚于此者！默察今日中央已为蒋氏所支配，政府被其一系所割据，政治日益腐败，为人民所厌恶，泽如等诚不忍党国与之偕亡，职责所在，更难缄默，古人有言，心所谓危，不敢不告，用函列其罪端，提出弹劾，以俟公决。唯爱护祖国诸同志，急起图亡。”
这通电发出后，首先响应的是国民党广东省党部和广州各界民众团体。第八路总指挥陈济棠于五月三日通电附和，并宣布欢迎国民党中央执监委员来粤协商团结反蒋大计。继而广东陆海空军将领黄任寰、张瑞贵、陈策、陈庆云、黄光锐等也于五月八日联合发表反对蒋介石的通电。
两广既合作反蒋，原驻桂平、梧州一带的陈济棠部于五月中旬即撤退回粤，李宗仁派第四十三师黄鹤龄部东下浔、梧接防。旋王公度来电，谓陈伯南（济棠）表示，恳切希望广西派大员赴穗协商组府大计。五月，李宗仁派白崇禧、张发奎、叶琪、李品仙偕冯祝万东下，于五月二十日到广州，商谈建立新的中央及两广军事统一问题。二十五日李宗仁也亲自到粤，行前对我说：“有关‘革命同志会’事务，随时与黄旭初会商决定；有关广州方面情况，统由‘同志会’内部通报。”
这一次广州组府反蒋的办法，还是走去年北平“扩大会议”的老路，决定用“中国国民党中央执监委员非常会议”的名义，凡是国民党一、二、三届中央执监委员，都欢迎来粤参加，借以壮大声势。这样，到五月二十五日，各方反蒋的代表人物：汪精卫、许崇智、唐生智、陈友仁（1875—1944，原籍广东顺德，出身于美州牙买加岛华侨家庭。1924年任孙中山秘书。1926年任武汉国民政府外交部部长。1932年，一度任国民党政府外交部部长，因主张抗战，被迫去职。次年参与福建事变，失败后赴法。1937年后闲居香港。1941年日军侵占香港，被拘捕，强迫移居上海。1944年病逝。）、李宗仁皆陆续来粤，连唐绍仪也来参加了。只是冯玉祥、阎锡山方面没有人到场。据时人猜度，大概是去年北平演出“扩大会议”一幕政治闹剧，胡汉民系站在反对立场，而今“非常会议”的召集，主要是支援胡汉民，冯、阎对胡迄今犹耿耿于怀，故拒绝参加。
蒋介石虽知道广州方面有所酝酿，仍决定于五月五日召集国民会议。五月十五日蒋授意“国民会议”电陈济棠，劝陈悬崖勒马。电云：
广州陈总指挥伯南并转香师长翰屏、余师长汉谋、李师长扬敬鉴：本会议代表全国国民，集会首都，以定国家长治久安之计，而执事忽有江（五月三日）通电，拾邓泽如、林森、萧佛成、古应芬四监委失实之弹章，对于党政措施，肆意攻讦。道路传闻，且谓执事调动军队，似将别有图谋，本会议殊为骇怪。执事身隶党籍，重膺军寄，乃对国家政治任意发言。自来军阀倡乱，动托兵谏之名，卒之不接踵覆亡，自李宗仁、白崇禧、张发奎以迄阎锡山、冯玉祥，往事不远，可为洞鉴。执事于此时张皇诋讥，忘出位之戒，耸天下之听，事之不祥孰过于此。本会议不忍执事之自坠其令誉，而贻祸于国家。由是正式决议，对执事致郑重之警告。唯民意之制裁，实祸福所攸关，幸怀悬崖之危，勿贻噬脐之悔，何去何挥唯执事为国自省。国民会议删。
这电当然不起什么作用。广州“中国国民党中央执监委员非常会议”于五月二十五日电致南京，限蒋介石在四十八小时内辞职。过了两天，乃正式召集全体会议，决定另设国民政府。同时推选唐绍仪、汪精卫、萧佛成、林森、古应芬、孙科、李宗仁、蒋尊簋（蒋尊簋是浙江人，与蔡锷同是日本土宫三期生，章太炎评论他与蒋百里说“浙之二蒋，倾国倾城”。）、陈济棠、邹鲁（1885—1954，广东大埔人。1924年当选为中国国民党中央执行委员会委员、常委兼青年部部长。为西山会议派骨干分子。1933年，任广州中山大学校长。抗日战争期间，先后任国民党政府国防最高委员会常委、国民政府委员、国民党中央常务委员。1949年到台湾。1954年2月13日病死。）、许崇智、邓泽如、唐生智、李烈钧、陈友仁等十五人为国民政府委员；以陈友仁兼任外交部长，邓召萌为财政部长，陈融为国民政府秘书长，李郎如为参军长。
广州国民政府于五月二十六日宣告成立，委员于五月三十日联名发表就职通电，略云：
窃维民国肇造，于今二十年矣。中间内乱频乘，殆无宁岁，究其乱源，厥有二端：其一迷信武力，其二迷信中央集权。二十年来之扰乱，乃由此造成。历历往事，国之慨然！同人等不敏，以为此后施政，必将此二大迷信同时打破。盖以武力求统一，不如以建设求统一，总理所谓以德服人者此也。国民政府当确此本旨，以为施政方针。对于一切事务，除有全国一致之性质外，悉以付之各省以进行建设，中央政府对于地方必从宽大，使能从容展布。即使中央与地方之间，或地方与地方之间，偶有争持，亦本诸以建设求统一，不以武力求统一之精神，使此争持不决于军事之胜败，而决于政治成绩之优劣。如是，则内乱不作，分崩离析之祸，无从发生。十年来纷扰之局，其必有待于此，乃能归于宁息。盼我各省市政府，共体斯意，即日与迷信武力与中央集权之个人独裁南京政府，断绝一切关系，而相与参加此新成立之国民政府，以建设求统一，以均权求共治。彼个人独裁者，必不战而屈吾人正义之主张。耿耿此心，尚祈鉴察。
另外，广州国民政府又发表宣言，否认南京政府。但广州国民政府只统辖广东、广西两省。此外没有任何一个省市，同蒋介石的南京政府断绝关系。