一九三一年四月初，黄绍竑在香港正计划派人入广西活动，为他就任广西善后督办准备条件。有一天早上，他忽然在港九轮渡码头上碰到陈铭枢，后者神色紧张，邀他到香港大酒店密谈。陈铭枢说：“广西局面又变了，陈济棠联合广西李、白，反对蒋介石，原因是蒋扣留了胡汉民。”陈还说他是只身跑出来的，很狼狈。这一变化，使黄绍竑感到：两广将从此形成一个武装割据的局面，要回广西当然是不可能的了。
回顾蒋介石于讨桂、讨阎（锡山）之际，胡汉民乃是蒋的一个主要帮手。胡指使他的心腹古应芬策动陈济棠拥蒋，使广西陷于孤立。及陈济棠关切李济深被扣后的情况，胡又电陈云：“须知任潮功不补过，而罪魁祸首，固自有人。”胡不满李、白，意在言外。以后阎锡山电蒋约以共同出国，“在野负责”。胡又电阎说：“党国有纪纲，个人进退不能自由，今欲挟介公以俱去，窃为不可。况部属要挟，更不足为训也。”像胡汉民这样一个对蒋削除异己有特别贡献的人，蒋为什么要把他软禁，把他当做李济深一样送去汤山（优待）呢？这原来有一个发展过程。
一九三〇年秋国民党“扩大会议”在北平成立后，曾于九月八日通过“约法起草委员会组织条例”，并拟定约法内容为：一、规定人民公私权利之保障；二、规定中央政府之权限；三、规定各省攻府之权限；四、规定各县地方自治之权限。约法委员会在北平成立不久，张学良即在蒋介石策动下，九月十八日通电派兵入关，声讨阎、冯。扩大会议和约法委员会迁往太原后，制订了共有八章二百一十一条的约法草案，其目的在标榜法治精神，以与南京政府相抗衡。
尽管“扩大会议”以失败收场了，但它所提出“召集国民会议，通过约法草案”的主张，却赢得了社会舆论的同情和支持。蒋介石有见及此，特于一九三〇年十月三日，从开封致电南京国民党中央党部，建议提前召集第四次全国代表大会，以确定召开国民会议颁布宪法的日期。当时在南京主持常会的是立法院院长胡汉民，他看到蒋介石的电报后大不以为然，面嘱中央通讯社长萧同兹不要把蒋电原文向外发表。胡汉民说：“要等到中央常委会讨论决定后，才可公开。”过了几天，消息传到开封，蒋听到后很不高兴，以为胡有意使他难堪，就将原文径发上海各报发表。蒋、胡之间的矛盾就从这里突出地表现出来。
事后，根据我们在南宁所了解到的情况，蒋、胡两人关于“约法之争”的经过是这样的：
一九三一年二月二十四日，蒋介石约胡汉民、戴季陶、吴稚晖去他那里专谈约法问题。胡汉民到时，张群、戴季陶都已经在座了。张群正滔滔不绝地阐述他的“立宪救国论”，胡听了不耐烦，便驳了他。胡汉民说：“我并不是不主张约法和宪法，并且我深信是为约法、宪法而奋斗的。实在说一句，当我开始反对满清，提倡民权主义的时候，还不知道你们在哪里？我在立法院，未尝不可制定一个约法、宪法来，但立出一个约法、宪法来，是不是就算实行了民权主义呢？现在各项法律案还没有完备，就是有了一些，又因军权高于一切，无从发挥其效用。所以，我不主张马上有约法和宪法。”
胡汉民说了这些话，张群没有出声。蒋介石只好说：“只好照胡先生的话去做，不要约法。”这天的谈话就这样结束了。
胡汉民为什么这样反对约法呢？因为他得到消息，蒋介石要凭藉约法当总统，实行名副其实的独裁。而蒋介石则以为胡汉民自己要同他争夺总统的位置，反对约法不过是借题发挥罢了。
二月二十六日，胡汉民接到蒋介石的请柬，邀于二十八日晚到总司令部晚餐。是晚八时三刻，胡汉民的汽车直驶蒋介石的住所，刚到门口，便有十多个武装卫兵上前来，把他的八名卫士邀到另室去了，胡汉民只好自己拿着呢帽手杖走进客厅。他看见在座的有戴季陶、朱培德、吴稚晖、王宠惠、何应钦、叶楚伧、刘芦隐、陈果夫（1892—1951，浙江吴兴人，原名祖焘。1911年参加同盟会。1927年后，历任国民党中央常委兼组织部部长、监察院副院长、江苏省政府主席、农业银行理事长、中央财政委员会主席，并与其弟陈立夫主持中央俱乐部和国民党中央执行委员会调查统计局（中统）。1949年败退台湾。）、陈立夫等等。叶楚伧看见胡汉民，就大声说：“好了，胡先生到了！”
跟着，蒋的秘书高凌百出来，接了胡汉民的呢帽手杖，让他到客厅对面的一间屋中，一面嚷，一面说：“来了，请胡先生到那边坐。”
胡以为有什么事要商量，便跟他进去。一入室，只见首都警察厅长吴思豫孤零零地坐在那里，胡就觉得有点蹊跷。
这是一间餐厅，胡随便在餐桌旁一个座位坐下，高凌百、吴思豫在两旁站着，情况很严重。过一会，高凌百拿出一封信来。这信很厚，有十多页，不是蒋介石亲笔函，但蒋在旁边加注，在后面签了他的名字。这信大意是说胡反对政府，反对蒋介石，说无论是党务、政治、经济各方面，胡都处处与蒋为难，并罗列了许多罪状，如说胡勾结许崇智运动军队反蒋，反对约法，破坏行政等等。
在每一条款之旁，蒋介石都加上了注解。
胡汉民看完信，又气又笑。高凌百收这信时，胡汉民吆喝道：“找介石来，我有话说。”
吴思豫嘟哝道：“总司令在开会。请胡先生吃饭。”一面说，一面便传令开饭。
“我不想吃饭。”胡汉民正色地说。
过一会，邵元冲（1890—1936，浙江绍兴人。1917年，任孙中山大元帅府机要秘书。1924年后，历任国民党中央执行委员、立法院副院长等职。1936年12月，应蒋介石电召入陕。西安事变发生时，被士兵开枪击伤，不久死去。）来了，胡问他：“这是什么意思？”
“蒋先生想要胡先生辞去立法院院长。”邵元冲吞吞吐吐地说了这么一句话。
“岂只立法院院长，我什么都可以不干。”胡愤然地说，他强要邵去把蒋介石找来。
午夜十二时，蒋介石来了。王世和持枪侍立。“你近来有病吗？”胡问蒋。“没有病。”蒋答。
“那很好，我以为你发了神经病了！”胡笑笑说，“你给我的信，我已经看过了，你强加给我那些罪名，究竟根据什么？”
之后，蒋、胡之间就展开了一场舌战。
胡汉民滔滔不绝地说下去，蒋介石止住他道：“胡先生反对我，我只是……胡先生何以反对张汉卿（张学良）！”
“反对汉卿什么？”
“胡先生不赞成给汉卿做陆海空总司令。”
“不错，我的确不赞成。我不赞成，为的是顾惜国家名器。领导政府，不应当自己为郑庄公，把别人当公叔段。你这一套把戏，施之于冯焕章，施之于阎百川（即冯玉祥和阎锡山），又施之于张汉卿，我以为不对。我以行政治军，用不着这种卑鄙手段。”
最后胡汉民表示要辞职不干。
“胡先生能辞职，很好。我蒋某人断不肯冤枉胡先生。”蒋介石一面说，一面拍着胸口。
最后蒋介石只好说：“夜深了，胡先生还是先歇息吧。”说罢便出门去了。王世和也跟了去。
这一晚胡汉民被软禁在蒋的总部里，通宵未睡。次日便由吴思豫、邵元冲等率十多名军警把他押送到汤山去了。
三月三日，蒋介石在国民政府举行纪念周时正式宣布扣留胡汉民。他说：“胡汉民同志负党国重任，不应私自越法失言，淆惑人心。今引咎辞职，中央自当念其过去劳绩，虽不忍坐视姑息，亦不忍其毁弃已往历史也。”