新四军军部及中共中央东南分局建立不久，于1938年4月陆续迁移到了皖南、泾县云岭，曾山仍留在南昌处理遗留问题，并兼任中共江西省委书记。1938年9月至11月9日，曾山到延安参加了中共六届六中全会，聆听了毛泽东的重要讲话，批判了王明先是“左”倾后是“右”倾的错误，提高了全党的认识。会后，曾山于年底从延安经西安，准备转重庆返江西南昌，在西安八路军办事处逗留的日子里，中央批准曾山和长征女红军邓六金同志喜结良缘，建立了幸福美满的家庭。

曾山回到江西，向中共江西省委扩大会议传达了中共六届六中全会精神，指出在敌占区和国统区的地下工作，应坚决贯彻中共中央作出的“隐蔽精干，长期埋伏，积蓄力量，等待时机”的工作方针。1939年春，曾山专程去广西桂林，向正在那里的周恩来请示和汇报工作。事后，曾山随周恩来到江西，经浙江金华、绍兴等地，到皖南新四军军部及中央东南局视察工作，周恩来敦促项英贯彻中央向敌后发展的指示，确定新四军的战略方针是：“向南巩固，向东进攻，向北发展。”同年3月，曾山回到皖南泾县丁家山中共中央东南分局，任副书记兼组织部长，具体分管民运部和敌占区、国统区地下党的工作。皖南事变后，曾山任中共中央华中局组织部长。1942年，抗日战争进入艰苦斗争时期，当时陈毅痔疮严重发作，不能行走，曾山亲自和干部一起抬担架送陈毅到彭城医院治疗，陈毅感动不已。

1942年，中共中央华中局和新四军军部由苏北盐城迁往淮南黄花塘，曾山又兼管华中局的财经工作。他为了保证抗日根据地内军民的物资供应，在根据地组织干部和群众大力发展生产，克服物资上的困难，并通过地下党组织，从上海敌占区秘密购买了大批军火、药品、生活用品等急需物资运进根据地，保证了新四军及人民群众的急需。

为了统一华中根据地的货币免受敌占区、日统区通货膨胀的影响，设立了华中印钞厂，创建了华中根据地第一个银行——华中银行。在反扫荡斗争中，曾山亲自领导银行工作人员做好了印钞厂的安全转移工作，受到了上级的表扬。

1943年初，华中局派曾山到新四军七师指导工作。曾山刚到芜湖七师师部时，就遭到日伪军的包围袭击，形势十分危急。曾山在遭到日寇机枪疯狂扫射危急情况下，他机敏地从马背上滚下山沟，才避免了伤害。1943—1944年，华中局通过党校举办了几期县团级干部整风学习班。曾山在负责每项的审干工作中，认真贯彻了毛泽东“惩前毖后、治病救人”的方针，没有出现什么偏差，保护了一大批领导干部。1945年4月23日至6月11日，党的“七大”在延安召开，曾山因工作忙未能出席大会，而被选为中共第七届中央委员会委员。这充分说明了党中央、毛泽东主席对他的了解和信任。

抗日战争胜利后，为了人民解放军由战略防御转入战略进攻的物资供应，曾山大力发动群众，通过各种物资流通渠道，出色地做好了华东野战军及兄弟部队的支前工作，从而保证了每一次战斗的胜利。

1948年下半年，人民解放军进入了战略决战阶段。在著名的淮海战役中，曾山担任华中野战军和中原野战军的支前工作，夜以继日在淮海战场上奔忙。据王静、赵永希在1979年7月15日《人民日报》发表的《无产阶级的忠诚战士——曾山》一文中指出的：“自1947年国民党军队向山东解放区发动所谓重点进攻，到华东全境获得解放，在将近三年多的时间里，他（指曾山——作者注）负责指挥华东各省，特别是山东省的广大农民，每年贡献出20亿斤公粮和其他大量物质。”在缺乏现代运动工具的情况下，这些军粮和军用物质全靠数十万数百万的人民群众，主要是农民群众，用肩挑、手推车和牲口驮运等方法运送前线。这其中的动员、组织和运输工作是极其繁重、艰苦的。曾山为此付出了巨大的精力，做出了重大贡献。1948年4月，华东野战军解放了山东维坊以后，派曾山任接管委员会主任。同年9月华东野战军解放山东济南后，又派曾山任济南军管会主任。他带领一批财经干部，出色地完成了接管任务，并总结了接管工作的经验，受到党中央的好评。11月21日，中共中央在批转曾山写的《关于接管济南的经验报告》时指出：“关于接管济南的报告甚好，转发各局参考”、“中央正在根据你和各地报告，利用准备进入平、津的布置，起草与此有关的党内指示和军管期间的各项政策，以求解决这些问题。”

1949年4月，曾山根据中央指示，积极为中国人民解放军百万雄师强渡长江天堑进行物资准备工作。他搜集大量木材，修造过江船只，又从大连和淮海战场运来数百部缴获过来的汽车引擎，用以组装机帆船，对保证渡江战役的胜利起了很大作用。1949年4月20日子夜，人民解放军发起了渡江战役，23日，一举解放了南京。曾山又参加了接管南京市的工作。同年5月27日，中国最大的沿海城市——上海市解放，曾山任上海市副市长，负责上海市财经战线方面的工作。在党中央领导下和陈毅直接指挥下，曾山将早在苏北、淮南等储存的大批粮食、棉花、煤炭等物资及时运到上海，不仅解决了上海“两白一黑”（大米、棉花和煤炭）的供应，而且有力地打破了过去上海完全依靠进口外国物质才能生存的局面。同时，曾山采取果断措施，打击投机倒把，取缔上海证券交易所，整理税收，统一财经，积极推行公债，让人民币占领市场，很快稳定了物价，解决了上海广大市民饱受多年的通货膨胀之苦，受到了上海市民的高度称赞。

十、在治理淮河战中造就大批技术人才

1950年7月，淮河两岸发生了严重的水灾，人民的生命财产遭受了重大损失。毛泽东同志及时发出了“一定要根治淮河”的号召。为了根治淮河水患，中共中央、国务院和中共中央华东局作出了治理淮河的决定，正式成立了治淮工作委员会，任命时任华东军政委员会副主席兼华东财经委员会主任的曾山为治淮工作委员会主任。淮河两岸的河南、山东、安徽三省的省长和华东军政委员会水利部副部长钱正英为副主任。

在治淮期间，曾山非常重视党的知识分子政策。吸收大批工程技术人员和华东各高等院校水利、土木工程系的毕业生参加治淮工作，做出了卓越的成绩。陈毅元帅经常表扬曾山善于发现人才，而且善于培养和使用保护人才。