4月3日，李宗仁下达总攻击令。第52军、第85军、第75军在台儿庄附近向敌展开猛烈攻势。日军拼力争夺，占领市街大部。总攻开始以后，日军顽强抵抗。

台儿庄守军第31师的4个团已经伤亡过半，由第30师调入城内的两个团接替了部队阵地，伤亡也很严重。至4月3日，台儿庄城西北门、北门、东门、东南门均已陷于敌手，全城一半的面积已被敌军占领。守军仍据守南关一隅，拼死坚守，并组成大刀队夜袭敌人，予敌以很大杀伤。敌军连续发动了七八次总攻，并且使用燃烧弹，妄图摧毁城内所有房屋和军民，将台儿庄夷为平地。城内各守备队利用地形和断墙残壁，筑起第三道阵地工事，挨街逐巷与敌人周旋搏斗，并组织起200余人的奋勇队，偷袭敌人据点，连连突破敌人阵地。守军虽然英勇奋战，但伤亡太大，实力愈来愈不支。

4月3日，日军占领四分之三的台儿庄地盘。池峰城师伤亡惨重，池峰城请求孙连仲让其部退至运河南岸。孙连仲断然向池峰城命令道：“部队绝不许撤，打到最后为止。士兵打完了你就自己上前填进去，你填过了，我就来填进去。有谁敢退过运河者，杀无赦！”

池峰城奉命后，知军令不可违，乃以必死决心，逐屋抵抗，任凭敌人如何冲杀，也死守不退。战至黄昏，敌人即停止进攻。至午夜，孙部先锋敢死队数百人，分组向敌偷袭，冲入敌阵，人自为战，奋勇异常，官兵手持大刀，向敌砍杀，敌军血战数十天，已精疲力竭，不料中国军队尚能乘夜出击。日军在慌乱中仓促应战，乱作一团，血战数日为敌所占领的台儿庄市街，竟为中国军队一举夺回，敌人死伤累累。