1898年秋林森又一次来到第二故乡台湾，继续从事秘密革命活动。他因为精通英语、又会讲闽南话，口才又好，因此被台南法院嘉义分部录取为通译。他以职业为掩护，从事革命活动，保护抗日志士。在法院遇到抗日志士被捕、受日本人审讯时，作为翻译的他，就尽量避重就轻地翻译，当台湾同胞吃官司时，林森也向着自己的同胞。由此而来林森赢得了同胞们的信赖。他们也帮助林森，有一次林森奉孙中山之命要回福建从事革命活动，但手上没有路费，正在发愁。当地台胞知道后，立即拿出50块钱资助，林森只要了30块。为了让林森平安成行，这位台胞特意到码头送行，使林森十分感动。由于林森在台湾为老百姓做了不少好事，当地人十分缅怀他，林森逝世后，1947年嘉义建立一个“青芝亭”，在亭里竖立一块碑纪念林森。在台湾，迄今仍有许多县市与乡镇还保留“林森路”或“林森街”之名。

林森也念念不忘第二故乡台湾，直到他临终之时，还特意嘱咐蒋介石等人:务必要光复台湾！

国民政府主席

林森成为国民政府主席，在当时的国民党内，是众望所归。

在大革命时期，由于林森参加了“西山会议派”，反对国共合作，因而被国民党中央开除党籍。1927年6月11日，南京国民党中央党部宣布取消“打倒西山会议派”的口号，林森与张继、谢持、邹鲁等也恢复了党籍。

1928年2月，林森被选为国民政府委员，10月当选为立法院副院长，接着又选为国民党中央监察委员，成为国民党中央和政府的重要人物。但是这时的林森，全身心地投入到总理埋葬事筹委会常务委员会的工作，埋头致力于修建南京中山陵。林森对中山陵的建设十分用心，倾注了满腔热情，从葬事的筹备，陵园的勘定，到工程图纸的审定，工程招标乃至工匠的确定，他都亲自一一过问，认真筹划，亲自落实。在当时大小军阀之间为了利益而进行混战之际，林森则似乎置身于另一个世界，他在从事着似乎与战争状态、烽火岁月不相称的事情。

1931年3月2日，立法院长胡汉民被蒋介石囚禁后，林森被选为立法院长，成为国民党中央的要员。在此之前，林森为避开政治旋涡，飘然出国，到海外进行为期8个月的视察活动。因此他是在海外旅途中被选为立法院长的。他这次出国任务是视察党务、慰问侨胞、募捐等三项任务，走遍五大洲，历时8个月，于1931年10月中旬满载而归。

在这次海外旅行中，林森有3个月是在瑞士避暑度假的。当时他委托人在瑞士日内瓦租房，时间3个月，而且还规定了价钱，按他的要求要在当地租到房子是很不容易的。这位朋友经过多方打听，最后在日内瓦近郊外租到一个仅有两小间的农舍。林森来看后却非常满意，他与陈耀垣一起整理房子，洗涤衣物，烧饭做菜。由于那里只有西式餐具，而没有中国餐具，菜烧好了，却找不着筷子。朋友建议去驻国际联盟的中国代表团那里，借一些中国餐具来，却被林森阻止了。他说:“这次顺道到瑞士度假，完全是一种私人行动，和公务无关，不要惊扰到公家机构，用具不妨将就一点。”于是他们就自己用木头削成木条备作筷子之用。有时朋友来访，没有床睡，就和林森挤在一张床上。第二天清晨，客人醒来之时，林森已经烧好了稀饭，等着与他共进早餐。这段海外之行的小插曲足以说明林森公私分明、生性淡泊、安于清贫的品格。

在日本帝国主义发动“九一八”事变后，本来应该团结抗倭。但是1931年11月国民党四大召开之际，国民党内又开始了互相指责，互相拆台的局面。以蒋介石、胡汉民、汪精卫为代表的三派势力互相之间又开始了权力斗争，相持不下。胡汉民和汪精卫为了搞倒蒋介石，暂时联合起来，共同对付蒋介石。在这种情况下，蒋介石“以退为进”，宣布下野。

在群龙无首的情况下，令各方面都能接受而又具有崇高威望的林森于1931年12月15日被推选为国府代主席。月底，国民党四届一中全会议决国民政府主席为国家元首，但不负实际政治责任。12月28日林森就正式当选为国民政府主席。

据当事人陈铭枢回忆，当蒋介石下野时，曾意“将以国府主席一职畀于右任”，但陈向蒋推荐了林森:当蒋决定下野时，曾约我到他的书斋密谈。他向我提出建议国府主席一职畀于右任。我并未察觉他早已属意于于，以为只是偶尔论及，固说:“于先生固然好，但还有一位更好的人，你为什么没有想到呢？此人既有清望，又没有各方面的政治背景，完全符合粤方所提出的主席标准——年高德劭。”蒋急问:“是谁？”我答:“林子超”。他听了恍然若有所悟似地说:“林一向爱清闲，不知道他愿意不愿意？”我说:“可以劝驾。”蒋立即写了一封亲笔函致林，交我面递。林因事出意外，开始尚有顾虑，经过劝说，他答应了。