1942年5月12日，败退的中国远征军第5军各部抵达缅甸曼西，13日破坏了重型装备，“弃车上山”，开始徒步进入缅北山区。此后，作为第五军一支的96师即与军部失去联系，被迫独立行动。

第96师作为全军的后卫，在最后时刻一直迟滞日军的进攻，在整个缅甸作战中战斗伤亡最大（2200人牺牲）。第96师副师长胡义宾、288团长凌则民在后卫战斗中殉国。同时96师也是最后进入“野人山”的部队，在第五军军部撤退多日后，才摆脱日军追击，“弃车上山”。

第96师师长余韶，指挥第96师和军直炮兵、工兵各一部进入了缅北“野人山”——胡康河谷，其中第96师部队约5000-6000人，军直部队不详，估计也应有千人以上，因此总数应在7000人左右。

第96师的路线是经孟拱、孟关、葡萄返回滇西。第96师遭受的困境和新22师情况相同，而且辗转时间更长。第96师在胡康河谷曾经沿第五军、新22师先头部队的行进道路跟进，但这条路上已经布满了士兵的尸骨。幸运的是，第96师能够零星获得美国空军的空投支援，使较多的士兵幸存下来。

尽管后来第五军受命撤入印度，但与军部再次失去联系的第96师，反而按照先前计划的路线正确走向祖国。6月14日，96师抵达葡萄后一路向东，经两个月穿越原始森林，翻越高黎贡山成功返回祖国，于8月17日到达滇西剑川。

回归国门的96师到达昆明休整时全师剩余三千人。该师穿越“野人山”的路线最艰苦，但死亡率少于第五军军部和新22师（一万余人仅存三千）。