他听说陈独秀就在武汉，便在同乡、国民党武汉警察局长蔡孟坚的陪同下，登门拜访陈独秀。落座后，他先是虚情假意地说了一通客套话，接着就开门见山地说：“我们何不再议十年前的事，重新再建一个党，这个党当然还是奉先生为领袖为旗帜……”

陈独秀这才明白过来，张国焘前来看望是虚，另有它图是实，便有意转身面向蔡孟坚：“蒋先生知道吗？他会允许我再组织一个反对国民党的党吗？”后来，他又请陈独秀吃过几次饭，每当再提组党之事时，陈独秀总是王顾左右而言它。

在武汉逗留近一年，陈独秀便应好友之邀，定居四川江津。他在江津的生活，清贫、窘困，甚至以典当度日，用他自己的话说，乃“老病之异乡人，举目无亲，唯坐以待命耳”。1942年5月27日21时40分，老人因食物中毒而病逝。老友朱蕴山获此噩耗，匆匆前来凭吊，并做诗寄托思念之情，其中有云：“僵死到头终不变，盖棺论定老书生。”

国民党政权瓦解之际，张国焘转往台北。因军统把他抛弃，他又迁往香港，过着寅吃卯粮的生活。穷困潦倒的他，腆着脸面给毛泽东等中共中央领导人写了一封短信。不久，中央便传来话：愿意回来是欢迎的，但是，必须承认和检讨历史上的错误。张国焘犹豫了。

恰在此时，美国中央情报局通过亚洲研究中心，向他了解中共党政领导人，他提供了毛泽东等中央政治局委员的情况，由此获得一些报酬，难以为继的生活才得以改观。1956年，他又萌生回去的念头，中央反馈的信息依旧。他踌躇再三，回去之念再度泯灭。

几年后，美国堪萨斯大学找到张国焘，希望他写回忆录。他用四年的时间写成《我的回忆》，堪萨斯大学每月给他二千港币，美之名曰研究费。香港明报月刊在取得中文版权后，又向张国焘支付一笔不菲的稿酬。

“文化大革命”开始后，很快便波及香港。张国焘担心自己历史上的疙疙瘩瘩，会引祸上身，便三十六计走为上，与妻子来到加拿大多伦多，投靠在此教学的大儿子张海威。后来，又因经济拮据申请住进了免费的养老院。1976年，张国焘突然中风，自此只能坐在轮椅上，由妻子推着在室内活动。1979年12月2日夜，躺在病床的张国焘在翻身时，把毛毯弄到地上，虽数次按响电铃，沉睡梦乡的护士却一点反应也没有。那一夜，多伦多的风特别的凛冽，雪特别的狂乱，夜也特别的沉静，中国现代史上这位曾经叱咤风云的人物，就这样凄惨地客死异国他乡，时年82岁。