卫立煌访问延安时与毛泽东合影

1948年12月25日，中共电台公布了43位“战犯”名单，父亲位列第13位。这也使国民党一些人怀疑父亲“通共”的说法不攻自破。不久，蒋介石通电下野，李宗仁任代总统。李宗仁上台后，对外宣称要释放政治犯。大哥立即去找程思远，我以前和程思远的女儿恋爱过，程思远和父亲算是准亲家。程思远马上带大哥去找李宗仁，李宗仁一句未问，写了个字条，让宪兵先撤走。大哥问那些特务怎么办？李宗仁说他管不了特务，但可以找管他们的警备司令通报一下，后来这些人都撤走了。李宗仁回国后还热衷于谈及此事。

1949年春节，父亲和韩夫人从南京坐汽车到上海，在那里登上英国轮船到达香港，我们一家人在香港会合。那时大哥在国内，二哥在美国留学。我和二姐，陪着父亲与韩夫人，还有一些随员，我们很低调地生活在香港。

父亲初到香港，先是用假姓名住在旅馆，后来租住在韩夫人一亲戚的楼房里。1949年9月，父亲的老朋友杨杰到香港来看望他，却在旅馆里被特务刺杀。父亲也深知自己的处境不妙，更深居简出。

不久，香港出版了《金陵春梦》，书中写了很多关于蒋介石真真假假的事，署名“唐人”，有人猜测是父亲写的。还有一种说法是“卫立煌口述”，因为有一个时期父亲曾迁居到元朗地区的唐人新村。父亲其实与此事毫无关系。但他嘱咐我们多加小心，别辩白，越辩越坏。有时他偶尔与家人外出，被人认出来:“那不是卫立煌吗？”他告诉我们，遇到这种情况，只当没听见，千万别回头。

在此期间，国共两条线都在争取父亲。蒋介石几次派父亲的旧部从台湾来看他，希望他到台湾定居。据那边传来信息，蒋一口咬定不知道软禁父亲之事。有朋友对父亲说，他到香港是蒋介石点头同意的，父亲不太同意这一点。

中共方面，也一直通过张治中在争取父亲，不希望父亲到台湾去。张治中与父亲是同乡，两家人在一起，说话口音完全一样;二哥卫道煦与张治中的三女儿张素初结婚，所以关系很融洽。