1949年6月，中共中央确定在宁、沪等地招收青年知识分子、青年职工和工程技术人员到西南工作，根据邓小平的建议，这支随军干部部队定名为“中国人民解放军西南服务团”。由此成立了4800余人的上海西南服务团，3000余人的南京服务团和1000余人的苏南服务团。同时从华东局和北方各解放区抽调6000余名老干部编入西南服务团，并成为骨干。

经过集训整编，包括3000余名山东南下干部在内的1.7万名西南服务团团员，于1949年10月1日在新中国诞生的晨曦中，踏上了进军大西南的征途。由于蜀道艰难，此次行军被邓小平称作“小长征”。最终，各支队克服了行军中难以想象的种种困难，先后到达各自的接管地区，开始建设新西南的工作。