1920年,共产主义小组在北京组建。李大钊为书记,张国焘负责组织工作,主要是指导工人运动。李大钊从他每个月140元的工资当中拿出80元,作为北京支部的活动经费,在他的指导下,北京共产党的工作开展得有声有色,其中最显著的要数张国焘负责的长辛店工人运动。
“五四运动”爆发时,张国焘是北京学生联合会讲演部部长,讲演部是各校运动积极分子云集的地方,人数众多,仅北大就有800多人。张国焘把这些人分别组成若干讲演团和讲演小队,到北京城内外街道、火车站以及集镇等地露天讲演,散发及张贴宣传品,宣传抵制日货,揭露北京政府和亲日派。