唐绍仪由此产生悲观思想，无法回南方向孙中山复命，便决定留居上海。

1925年3月，孙中山在北京逝世。噩耗传开，举国悲痛。唐绍仪向章太炎哭诉衷肠，一同前往吊唁。见先生遗容，唐失声痛哭，以泪浇笔，书写挽联：
约法坏民国危革命未成功非复能支大厦；

议和终致住去补天太无术自愧有负使君。

约法系指由孙中山主持制定、用以限制袁世凯权力的《中华民国临时约法》。唐绍仪胸怀坦荡，把段祺瑞破坏南北议和的责任归咎于自己的不努力，觉得和议失败又未能南归复命，有负孙大元帅之托。

不计名位做县长

1928年国民政府在南京成立。当日的南京仅为中等城市，一时拥入中央、直辖市两级政府，可谓役员遍地，人满为患。一时哪里拿得出这么多住宿和办公的房舍?两级政府决定，立即划分建房地域，解决困难。霎时间，南京大片闲置地成了热门抢手货。此刻，有人找到担任中央赈灾委员的唐绍仪，请他挪用赈灾款合购地皮，以求牟取暴利。唐毫不为之所动，告诉对方：“连划分给我建房的地皮我都不要了，还有必要动用灾民救命钱去抢购土地吗?”来人羞愧万分，仓皇逃走。

1931年10月，唐绍仪任国民党中央监察委员、国民党政府委员。南京市表示，在“富有阶层区”留有唐的公馆建造地皮，唐又予婉谢。1932年唐绍仪任西南政务委员会常务委员，当时他的老家——中山县民情十分复杂，一些曾被任命到该地担任县长的人，对孙总理的故乡望而却步。唐绍仪闻知家乡缺一名“百里长”，竟不计名位高低，待遇多寡，自告奋勇地走马上任做了中山县长。他有滋有味地当了两年中山县长，见到县治有了起色，方适时去职，举家迁到上海。他在法租界购房住下，安心乐意过上寓公生活，极少出头露面。街坊邻里见到这位极富修养、亲切和善的老人，只做一般性的点头交往，谁也不会料及，他们的邻居竟然是民国首位国务总理、清代的一品大员。

拒绝土肥原而遭杀害

1938年9月27日上午。一辆当时颇为时髦的开克勒特轿车驶入上海法租界，停靠在有铁栅间隔的草坪前，草坪中央是一幢中西合璧的楼房。车上下来3名着军装配战刀的日军。一人吃力地提礼盒，腾出一只手轻轻敲叩栅门。守门的仆人出来，见状不动，日本人中有人用中国话说了：“请通报你家主人唐绍仪先生，日军派遣军第十四师团师团长、第五军司令土肥原贤二先生，特来拜访唐绍仪先生!”

其实唐绍仪已在楼上听到了下边的声音。他怎么也没有想到，日方情报机关是如此之灵敏，终于探知到他的住地了。怎么办?自己尽管早已与社会活动绝缘，且已风烛残年——都已76了，难道人家还不放过自己?他知道是祸便躲不过，与武装到牙齿的敌人硬拼无用，只好周旋，摸清对方意图再说。于是不等仆人请示，便在窗前通知：“迎客!”

摆在唐家客厅案上的是日本人送的一对陶皿。作为行家，唐绍仪一望便知这是汉代文物。尽管唐绍仪再三表示不受，土肥原一再以手抚胸，用熟稔的汉语说：“出于至诚，对先生大名的景仰，万望收下。”唐绍仪再也找不出拒收的理由，于是分宾主坐下，吃茶用膳后，根本用不着翻译，土肥原开场了：“唐绍仪先生，中日两国一衣带水，同文同种，共同努力，可完成大东亚共荣的大业!先生乃民国第一任责任内阁国务总理，政声极佳，影响极大，你退出中国政坛四年，应该重振旗鼓，为早日结束战争做些贡献，中日亲善指日可待。我代表大日本帝国希望你出山组阁，建立新的中国政府。地址由你选择，或南京、或北平、或上海，未尝不可，请你提出具体条件，在下对先生寄予厚望。”