张国焘在上海时期，曾与陈独秀畅谈救国理想，创建中国共产党。张国焘在《我的回忆》中说，在上海和陈独秀谈到党纲、党章等许多具体问题，“希望李大钊先生和我从速在北方发动，先组织北京小组，再向周边城市发展。”

回到北京后，已经耽误一个学期课的张国焘得到了学校和教授的优待，总是能得到一个善意的及格分数。张国焘便常常泡在北大图书馆，他在李大钊的引导下，大量阅读介绍马克思主义的书籍，历经流亡失落的他重拾信心，正式踏上了政治舞台。

1920年，共产主义小组在北京组建。李大钊为书记，张国焘负责组织工作，主要是指导工人运动。李大钊从他每个月140元的工资当中拿出80元，作为北京支部的活动经费，在他的指导下，北京共产党的工作开展得有声有色，其中最显著的要数张国焘负责的长辛店工人运动。长辛店距北京城21公里，京汉铁路北段的修车厂设在这里，有工人3000余名。张国焘经过调查，决定在长辛店创办劳动补习学校，让工人及其子女接受教育，这是发动工人运动的最佳方式。

开办学校是需要经费的，张国焘不愿再向李大钊开口，于是将当年家中邮寄给他的一年生活费300块钱捐出来。支部的同志都尽力捐款，此后这项制度逐渐沿袭下来，最终成为中共党费的来源。

张国焘、邓中夏、张太雷等人乘火车来到长辛店，动员工人和子弟踊跃报名参加补习学校。张国焘口才出众，演讲受到了工人的热烈欢迎。补习学校开办初期，张国焘、邓中夏、罗章龙等轮流担任教员，李大钊也曾到学校讲课。这一时期，张国焘常常替李大钊接待前来借阅书刊、展开辩论的师生。

在张国焘的回忆里，中共一大时“北京支部应派两个代表出席。各地同志都期盼李大钊先生能亲自出席；但他因为正值北大学年终结期间，校务繁忙，不能抽身前往。结果便由我和刘仁静代表北京支部出席大会。”张国焘成为中国共产党创建人之一，多年后，周恩来对要脱党出走的张国焘说：“这个党是你创建的，你不能离开啊！”

张国焘能作为中共一大代表并担任主持人的重要角色，与李大钊对他的看重有很大关系。但是1924年张国焘被捕，在敌人严刑逼供下所写的供词中，排在前面的就是李大钊，这间接导致了李大钊1927年被敌人杀害。这个隐藏了多年的秘密，直到建国后，北洋政府的京师警察厅档案解密后才真相大白。