杭州会议之后，***回上海同被陈炯明逐出广州，刚刚抵沪不久的孙中山进行了正式接触，“讨论振兴国民党以振兴中国之问题”。
比孙中山年轻23岁的***对历史、哲学，以及对国际革命运动、世界思想潮流，乃至民国以来政治的发展、民国政治建设、中国社会的症结等等问题的见解足以引起孙中山的兴趣。孙中山亦有许多新的思想要对这位年轻的共产党人讲解。二人谈意甚浓，说到孙中山的“建国方略”时，竟一连几个小时不止，以致忘记了吃饭时间。
兴奋之下，孙中山亲自主盟，介绍***加入国民党。随后，陈独秀、蔡和森、张太雷、张国焘等也相继以个人身份加入了国民党。
国共合作方式的确定和中共主要领导人加入国民党，加速了国共合作的步伐。
1922年9月4日，孙中山在上海召开改进国民党会议，指定了包括陈独秀在内的9人为规划国民党改进方略起草委员。1923年6月12~20日，中共在广州召开了第三次全国代表大会，作出了全体共产党员以个人身份加入国民党的决定。***这一次专程南下，参加了会议，并当选为中共中央执行委员。
与此同时，***也得到了孙中山的充分信任，先后被孙中山指派为国民党改组委员，国民党临时中央候补委员和出席国民党全国代表大会的代表。
然而，加入国民党以实现国共合作，对于当时大多数共产党员来说是一个很难接受的方式。中共三大后，中央在向各地基层组织的党员做解释工作时，颇费了很大气力。北京地区的情况也是如此。当1923年11月间***在北京党组织的一次大会上报告他已被孙中山指定为参加国民党全国代表大会的代表时，遭到了以往尊重自己的很多同志的指责。
张国焘的回忆写道：“李先生这报告当场遭受了不少的质问和责难。有的问他：‘你是中共一位著名领袖，现在去参加国民党的代表大会，你将采取何种立场？’有人问他：‘国民党要你宣誓服从三民主义，忠于国民党的一切决议和命令，你将何以置答？’这些问题都是***先生所不易答覆的。于是多数同志不赞成中共党员充当国民党代表。有人还说：‘李守常先生去参加国民党的代表大会，最好用他的个人名义去，不必用中共党员的身份去参加。’这句不很客气的话，把素不生气的***先生气坏了。他怒容满面的说：‘这如何可能？我虽是以一个国民党员的身份去参加，但我是人所共知的共产党人，我如何能放弃共产党员的身份？你们是根本不赞成我去；是反对中央的现行政策；而且不将我视为一个同志。’他说完后，即气愤愤的走出会场。”
***的退场被阻拦下来，经过一番讨论，在另外一次会议上，终于通过了一项中共党员参加国民党工作的决议案。
1924年1月初，***经上海赴广州出席于1月20日至30日召开的国民党第一次全国代表大会。在他途经上海时，中共中央召开了会议，决定由***和被孙中山指任为国民党临时中央执行委员的谭平山，及后来参与起草国民党第一次全国代表大会宣言的瞿秋白组成指导小组，领导出席国民党“一大”的中共党员的工作。后来的事情证明，这一举措并非多事，而且正是***出色地完成了这一任务。
原来，共产党员以加入国民党的方式实现国共合作一事，在国民党内并非人人赞同。早在会议之前，国民党的一些上层人物就通过不同方式表达过不满意见，但都受到了孙中山的批评。在代表大会进行过程中讨论《中国国民党总章》时，又有右派代表提出党章中应当明文规定“本党党员不得加入其他政党”的条文。此提案一出，立刻有10余人附议。这无疑给与会的中共党人出了个难题。
因为在大会开始之前，就有人就中共党员跨党问题明里暗里做文章。为此，***已经做好了应答准备。此时，面对右派咄咄逼人和众多代表们冷眼以待之势，***不慌不忙地走上讲坛。
他首先代表共产党人对于孙中山和国民党内的“先进诸同志”以欢迎态度给共产党员对国民革命工作“尽其绵薄的机会”反映出的革命热诚和精神表示“敬服”。同时指出，“少数先进的同志”对于共产党人的怀疑如果不消除，将在国民党内“预伏一种妨害将来发展的危机”。
在接下来解释中共加入国民党的理由时，他开诚布公地说：在半殖民地的中国，要想脱除帝国主义和军阀的二重压迫，非依全国国民的力量进行国民革命不可，而要想取得国民革命的成功，“非有一个统一而普遍的国民革命党不可”。国民党是目前国内唯一“有历史、有主义、有领袖的革命党”，是唯一“能负解放民族、恢复民权、奠定民生的重任”的政党，所以中共党人才毅然加入国民党。并且，之所以这样做而不采取党外联合战线的方式，是为了在孙中山的领导之下，在国民党整齐的纪律之下加强统一的革命力量。
他声明：“我等之加入本党，是为有所贡献于本党，以贡献于国民革命的事业而来的，断乎不是为取巧讨便宜，借国民党的名义作共产党的运动而来的”，因为“国民革命的事业，便是我们的事业，本党主张的胜利，即是我们的胜利”。
他针对一些人对共产党人加入国民党将会把国民党变成共产党的疑虑指出：共产党人加入国民党是接受国民党的党纲，并非强迫国民党接受共产党的党纲，当然不存在共产党改变国民党的问题。
至于跨党，他指出：共产党员是一个一个加入国民党的，不是以团体的方式加入的，这可以说是跨党，但不能说是党内有党。
他解释说，中国共产党是第三国际的支部，不能把一个世界组织纳入国民党内，所以中共党人可以加入国民党从事国民革命运动，但不能因此脱离国际的组织。如果中国共产党脱离了国际组织，那不仅对于国民党不利，“且恐有莫大的损失”。“因为现代的革命运动是国民的，同时亦是世界的”，中共在国民党与国际组织中间作为联络有益于革命运动，既是国民党所希望的，也是第三国际所希望的。
总之，中共党员加入国民党“是几经研究再四审慎而始加入的，不是胡里胡涂混进来的”；加入国民党的中共党员跨党是经孙中山允许的，“是光明正大的行为，不是阴谋鬼祟的举动”。况且，共产党员既经参加了国民党，即当遵行国民党的政纲，遵守国民党的章程和纪律，否则，“理宜受本党的惩戒”。唯希望“先辈诸同志”，既允许共产党员加入，就不必猜疑和处处防制。如认为不合适，可以详细磋商，中共既为有利于国民党而来，也可以为有利于国民党而去。
***这个发言直率诚恳，同时不失机巧与智慧，既表达了中共党人为投身国民革命而加入国民党的理由，又巧妙地解释了中共何以采取加入国民党的方式以实现合作，中共党员为什么不能脱离第三国际亦即是为什么不能脱离自己的组织。
中共党人加入国民党既有孙中山的允许，又无任何违反国民党章程和为自己谋取利益的企图，这已为国民党中多数人所共鉴，怀疑者只是少数，且无任何正当的怀疑理由。这番真挚恳切之语立刻打动了多数与会者。“会场情势几乎顿时逆转”。在国民党总章中明文规定反对跨党的提案终被否决。
国民党第一次代表大会通过了苏联顾问鲍罗廷和瞿秋白起草、汪精卫润色、孙中山定稿的大会宣言。这个宣言对孙中山的三民主义做了重新解释，加进了中华民族自求解放、各民族平等、反对帝国主义和军阀等内容。同时，大会选举的中央执行委员和候补中央执行委员中有10名是中共党员，占总数的四分之一。这次大会从而成为国共合作的标志。
***在大会中还被孙中山指任为主席团成员参与大会主持工作，并且担任了大会宣言审查委员、国民党章程审查委员、宣传问题审查委员等多项职务，最后被选为中国国民党第一届中央委员会执行委员。
在大会结束后立刻举行的国民党第一届中央执行委员会全体会议上决定在上海、北京、汉口、哈尔滨、四川组织地方执行部，***作为中央执行委员，负责北京地区执行部党务的指导与监督。同年4月，北京执行部正式成立，***担任了该部的组织部长。
苏联之行
1924年5月21日，担任国共合作后国民党候补中央执行委员和中华全国铁路总工会总干事的张国焘同妻子杨子烈在北京地安门内腊库胡同16号杏坛学社内突遭逮捕。4天后，张国焘等被京师警察厅侦缉队转押京畿卫戍司令部。在这里，这位平日慷慨激昂、能言善辩的党内高级领导人，竟向审讯者供出了包括中共北方区委负责人和领导骨干及全国铁路在党工人80多人在内的名单。京畿卫戍司令王怀庆马上密咨内务总长，“请转令严拿共产党***等归案讯办”。几天后，即有便衣警察到***家居的宣武门内铜幌子胡同甲3号进行搜捕。
据张国焘后来的回忆说，在他被捕前一天刚刚从上海回到北京同***会面时，***便告诉他，由于国共两党反对曹锟贿选、批判军阀政府和发动大规模工人运动，当政的直系军阀已准备实行大批逮捕，***和他都已被列入黑名单之中。***要他赶快回到住所，收拾文件，躲藏起来。但他有所疏忽，以致被捕。
这一回忆是真实还是出于杜撰，尚待考证。这也就是说，***等人被搜捕、通缉究竟是事先政府已有酝酿，还是完全由于张国焘的出卖，还不得而知。但不管怎么说，机警的***就在警察搜捕的当天早些时候，带着儿子离开北京，回到家乡，并且很快上五峰山躲避，以至于当妻子带着其他孩子也于第二天离京返回家乡，警察竟随后赶到乐亭搜捕时，又一次无功而返。
6月11日，北洋政府内务部向教育部和各省发出了对***等共产党人的“海捕文书”。此时，***已经接到中共中央派他出席共产国际第五次代表大会的通知。
中国共产党成立后，已先后有张太雷、陈独秀、刘仁静等参加过共产国际第三、第四次代表大会。这一次中央派出的赴会代表团由***、王荷波、罗章龙、刘清扬、彭述之5人组成，***为首席代表。
***出发前，先到昌黎找到他在天津读书时结识的同乡好友杨扶清。杨扶清曾在日本水产讲习所学习，回国后开办了一个罐头公司。他资助***500元作为出国经费，并护送他离开县城。
当时，去苏联的人须到哈尔滨苏联领事馆接洽。***回到北京和赴会其他代表碰头后，乘车前往哈尔滨。旅途中的他戴一副无边眼镜，头上一顶八角工人帽，身着一套黑灰色旧西服，脚上穿一双半旧的皮鞋，带着一只灰色帆布提包和一个白色布被子行李卷。这身打扮已经不像几年前穿着长袍的老学究气派的大学教授，不知是新文化运动带来的知识分子服饰变化之风影响了他，还是为了适应出国的需要。总之，他使人想起刚刚到工人中间去从事革命宣传鼓动工作的知识分子。
抵达哈尔滨后，代表们分头住宿。***找到在当地开肉店的本家兄长，由他安排，在另一位开买卖的乐亭同乡王芳田家中住了3天。随后，一行人乘火车到满洲里，再从那里雇马车偷越国境，转乘苏联火车，前后总共用了半个月左右的时间，才最终赶到莫斯科。
共产国际第五次代表大会于6月17日至7月8日举行，参加会议的有来自49个国家的60多个政党、团体共500余名代表。这次会议召开于列宁逝世后不久，在列宁病重期间开始发生的苏联共产党内斯大林同托洛茨基反对派之间的激烈斗争也在会上有所反应。
大会有一项议题是通过带有严厉谴责托洛茨基反对派内容的苏共第十三次代表大会的决议。但会议的主要内容是讨论资本主义进入局部的、相对的、暂时的稳定时期后各国共产党面临的任务，大会要求各国党要按照列宁的建党原则，实现真正的布尔什维克化，并进一步发展和整顿统一战线。
***为首的中国代表团有可能了解到苏联党内的斗争，但作为东方落后国家的年轻的共产党的代表，他们更为关注的是会上就民族与殖民地问题进行的讨论和共产国际同苏联能够给予中国革命的支持。
在***起草，经代表团讨论，收入代表大会会议记录的中国代表团的报告中，主要谈的是外国帝国主义在中国的侵略活动和中国反对帝国主义的民族运动斗争情况。
报告汇报了中国共产党按照共产国际的指示，加入国民党后，同国民党右派进行的斗争，和国民党第一次全国代表大会通过的政治纲领，以及会后国共两党在全国发动运动形成的斗争形势。
报告对于中国共产党在国民党中的工作成就和党在工人运动中的领导作用表现出坚定的信心。报告最后希望共产国际第五次代表大会“特别关注中国问题，并给予中国党有关今后工作的指示。”
***等提出请求共产国际关注中国问题的要求反映了一件事实，即国际大会对于中国的革命并没有给予特别的关注。从已得到的资料来看，在6月30日之前的占整个会议三分之二的议程中，除6月18日加里宁在红场发表纪念列宁和列宁主义的讲话，在赞扬列宁支持其他国家革命运动时引用了列宁在1913年所写《落后的欧洲和先进的亚洲》中的一段话外，几乎没有其他涉及中国问题的内容。而在6月30日曼努伊尔斯基关于民族问题的讲话、7月7日里亚赞诺夫关于出版《马克思恩格斯全集》的报告，以及大会策略问题提纲等发言记录或文件中，中国也仅仅是作为东方国家中的一个部分或民族与殖民地问题中的一例偶尔提及。只是在《共产国际告世界无产阶级书》和《致东方各国和殖民地的兄弟人民》两个文件中有些涉及中国情形的段落。
尽管如此，***仍旧感到与会代表们和苏联民众对中国革命的关心。他在后来寄回国内的通信中写道：参加大会的代表们同他见面时，总是要问孙中山的健康如何，广东革命政府的近况如何，“颇有一种诚敬的钦意及浓厚的同情自然的流露出来”。这种感受在他会后留住参观的日子里愈发来得强烈。
***赴苏后不久，国内政局出现了新的紧张形势：在南方，以孙中山为首的革命势力与商团之间出现了尖锐矛盾。商团购置武器，扬言推翻大元帅府。孙中山下令扣留了商团的大批枪械，商团以罢市相要挟。8月下旬，英国的9艘炮舰集于广州白鹅潭为商团助威，29日英国驻广州的总领事竟向革命政府提出最后通牒。在北方，奉系军阀张作霖自几年前被直系军阀打败后卷土重来，直奉之间战争烽烟再起。