1938年1月，（左起）陈毅、温仰春、项英、张云逸、曾山等合影

曾山回到江西，向中共江西省委扩大会议传达了中共六届六中全会精神，指出在敌占区和国统区的地下工作，应坚决贯彻中共中央作出的“隐蔽精干，长期埋伏，积蓄力量，等待时机”的工作方针。1939年春，曾山专程去广西桂林，向正在那里的周恩来请示和汇报工作。事后，曾山随周恩来到江西，经浙江金华、绍兴等地，到皖南新四军军部及中央东南局视察工作，周恩来敦促项英贯彻中央向敌后发展的指示，确定新四军的战略方针是：“向南巩固，向东进攻，向北发展。”同年3月，曾山回到皖南泾县丁家山中共中央东南分局，任副书记兼组织部长，具体分管民运部和敌占区、国统区地下党的工作。皖南事变后，曾山任中共中央华中局组织部长。1942年，抗日战争进入艰苦斗争时期，当时陈毅痔疮严重发作，不能行走，曾山亲自和干部一起抬担架送陈毅到彭城医院治疗，陈毅感动不已。

1942年，中共中央华中局和新四军军部由苏北盐城迁往淮南黄花塘，曾山又兼管华中局的财经工作。他为了保证抗日根据地内军民的物资供应，在根据地组织干部和群众大力发展生产，克服物资上的困难，并通过地下党组织，从上海敌占区秘密购买了大批军火、药品、生活用品等急需物资运进根据地，保证了新四军及人民群众的急需。

为了统一华中根据地的货币免受敌占区、日统区通货膨胀的影响，设立了华中印钞厂，创建了华中根据地第一个银行——华中银行。在反扫荡斗争中，曾山亲自领导银行工作人员做好了印钞厂的安全转移工作，受到了上级的表扬。

1943年初，华中局派曾山到新四军七师指导工作。曾山刚到芜湖七师师部时，就遭到日伪军的包围袭击，形势十分危急。曾山在遭到日寇机枪疯狂扫射危急情况下，他机敏地从马背上滚下山沟，才避免了伤害。1943—1944年，华中局通过党校举办了几期县团级干部整风学习班。曾山在负责每项的审干工作中，认真贯彻了毛泽东“惩前毖后、治病救人”的方针，没有出现什么偏差，保护了一大批领导干部。1945年4月23日至6月11日，党的“七大”在延安召开，曾山因工作忙未能出席大会，而被选为中共第七届中央委员会委员。这充分说明了党中央、毛泽东主席对他的了解和信任。

抗日战争胜利后，为了人民解放军由战略防御转入战略进攻的物资供应，曾山大力发动群众，通过各种物资流通渠道，出色地做好了华东野战军及兄弟部队的支前工作，从而保证了每一次战斗的胜利。

1948年下半年，人民解放军进入了战略决战阶段。在著名的淮海战役中，曾山担任华中野战军和中原野战军的支前工作，夜以继日在淮海战场上奔忙。据王静、赵永希在1979年7月15日《人民日报》发表的《无产阶级的忠诚战士——曾山》一文中指出的：“自1947年国民党军队向山东解放区发动所谓重点进攻，到华东全境获得解放，在将近三年多的时间里，他（指曾山——作者注）负责指挥华东各省，特别是山东省的广大农民，每年贡献出20亿斤公粮和其他大量物质。”在缺乏现代运动工具的情况下，这些军粮和军用物质全靠数十万数百万的人民群众，主要是农民群众，用肩挑、手推车和牲口驮运等方法运送前线。这其中的动员、组织和运输工作是极其繁重、艰苦的。曾山为此付出了巨大的精力，做出了重大贡献。1948年4月，华东野战军解放了山东维坊以后，派曾山任接管委员会主任。同年9月华东野战军解放山东济南后，又派曾山任济南军管会主任。他带领一批财经干部，出色地完成了接管任务，并总结了接管工作的经验，受到党中央的好评。11月21日，中共中央在批转曾山写的《关于接管济南的经验报告》时指出：“关于接管济南的报告甚好，转发各局参考”、“中央正在根据你和各地报告，利用准备进入平、津的布置，起草与此有关的党内指示和军管期间的各项政策，以求解决这些问题。”1949年4月，曾山根据中央指示，积极为中国人民解放军百万雄师强渡长江天堑进行物资准备工作。他搜集大量木材，修造过江船只，又从大连和淮海战场运来数百部缴获过来的汽车引擎，用以组装机帆船，对保证渡江战役的胜利起了很大作用。1949年4月20日子夜，人民解放军发起了渡江战役，23日，一举解放了南京。曾山又参加了接管南京市的工作。同年5月27日，中国最大的沿海城市——上海市解放，曾山任上海市副市长，负责上海市财经战线方面的工作。在党中央领导下和陈毅直接指挥下，曾山将早在苏北、淮南等储存的大批粮食、棉花、煤炭等物资及时运到上海，不仅解决了上海“两白一黑”（大米、棉花和煤炭）的供应，而且有力地打破了过去上海完全依靠进口外国物质才能生存的局面。同时，曾山采取果断措施，打击投机倒把，取缔上海证券交易所，整理税收，统一财经，积极推行公债，让人民币占领市场，很快稳定了物价，解决了上海广大市民饱受多年的通货膨胀之苦，受到了上海市民的高度称赞。