由于李杜目标大，潜回东北困难重重，他决定以出洋考察为名，转道苏联，再潜回东北；张学良暗中支持李杜回东北抗日，并派手下的亲信应德田；赵毅等协助李杜；李杜走访苏联驻上海领事馆，以图争取苏方的支持；会见美国军政人员，探讨抗日方策；积极联络旧部和同僚，商议抗日计划；秘密派人接近中共上海地下党组织，向共产党征求抗日大计；但是，国民党政府却对李杜回东北抗日的行动，进行百般刁难和阻挠，不予办理出国签证，从1934年秋到1936年3月，整整办了一年半时间，经多方努力，李杜出国的申请才得到批准；他的申请虽然获准，但由于国民党方面将李杜返回东北抗日的计划泄露给日本当局，日本政府向苏联提出抗议，迫使苏联拒绝李杜入境；李杜一行来到巴黎羁留半年之久，仍未取得入苏护照，只好于1936年末从法国返回上海。

周恩来建议李杜担任东北抗日联军总司令

这时，东北抗日联军已经建立，为了扩大这支队伍的影响，争取国内各阶层更广泛的同情和支持，鉴于李杜将军的抗日经历和威望，中共领导人周恩来及时向国民党当局举荐李杜就任东北抗日联军总司令，并在关内设立东北抗联总指挥部；经国民党当局同意后，李杜欣然受命，开始筹建东北抗联总指挥部。

东北抗联总指挥部在上海成立后，李杜将军为了沟通同东北抗日部队的联络，派人在香港；天津等地架设电台，保持与东北抗日部队的联系，他多次公开在报刊上撰写署名文章，热情赞颂东北抗日联军的业绩，并呼吁各界积极支持东北抗日联军的正义行动；其中一篇文章说:“由于东北抗日联军的惊人战绩，已使日寇的屠杀焚掠建立起的血腥统治根本动摇，今天全国同胞应给以最大热情去援助在敌人铁骑下苦斗的东北军……踏着成千上万为民族而牺牲的东北战士的血迹行进”(《国讯旬刊》)。

由于李杜的宣传，国内各阶层爱国人士积极捐款捐物，支援东北的抗日联军；然而，一向口是心非的国民党当局，虽然公开场合支持李杜担任东北抗日联军总司令，但在背后总是对他的工作进行干扰和破坏，使他的工作不能很好的开展；一怒之下，李杜决定再次返回东北，直接指挥和领导东北的抗日斗争；他计划通过新疆的迪化(即乌鲁木齐)去莫斯科，然后转赴东北，但受到新疆反动军阀盛世才的阻挠，打电报“谢绝”李杜进入新疆；李杜返回东北的计划又一次落空；后来又做了第三次努力，由于德国和波兰发生战争，李杜绕道返回东北的愿望，依然未能成功。

1938年，上海沦陷，李杜迁居国民政府陪都重庆；在这里，他以东北抗联总司令的名义设立了东北抗联总指挥部，任命共产党员于炳然为政治部主任，开展抗日宣传和发动民众工作；为了沟通同东北抗联的联络，他派人在香港；天津；重庆等地架设电台，随时把抗联杀敌的消息介绍给关内民众；李杜不顾国民党特务的监视钉梢，经常同《新华日报》的负责同志往来，还多次同周恩来；董必武；叶剑英等中共领导人会晤，虚心聆听他们的教诲；当时他居住在重庆市南岸区，远离市中心，偏僻幽静，他的家成为共产党负责人同一些民主进步人士秘密会晤的重要场所，共产党人尊他为“南山五老”之一。

因为抗战的需要，东北抗日联军从1936年7月至1939年5月先后组建了东北抗联第一路军，总司令杨靖宇；东北抗联第二路军，总司令周保中；副总司令赵尚志；东北抗联第三路军，总司令李兆麟；为了服从抗日大局的需要，在此基础上，李杜还把分散在辽吉黑三省的各路抗日义勇军，按照东北抗联的序列，分别组建为东北抗联第四路军；第五路军，总计编排到第十四路军；但因这些抗日队伍不属共产党领导，还有一些既为匪又抗日的队伍，所以一直被人忽略；这些抗日队伍在李杜的领导下，狠狠打击了日本侵略者，使日本人不能在东北大地上为所欲为。

日本帝国主义对李杜恨之入骨，多次派出汉奸特务，妄图刺杀李杜，追捕他的家属；李杜和他的亲人几经历险，多次死里逃生；最可气的是，李杜的抗日行动为蒋介石国民党政府所不容；1942年6月，国民党政府下令查封了设在重庆的抗日联军总指挥部，取缔了李杜的工作，并由戴笠派特务监视其行动；李杜在国民党特务的严密控制下失去了自由，他愤慨之余越发怀念东北的父老兄弟，极度忧国忧民，渴望有朝一日亲征沙场；“浩劫偏依蜀，雄心在渡辽”“匹马北征急，何惧道路遥”等诗句，充分表现了他那时的心境。

在长期同共产党人的接触中，李杜以实际行动接受了党组织的长期考验，1945年上半年，经冯)峰和董健吾的介绍，李杜秘密地加入中国共产党，为特别党员。