他虽然居住在相对偏僻的颐和园，但去看望他的人却不少，经常有人来给他传递一些毛主席和周副主席看望某代表团，接见某来人的消息。特别是毛主席1949年4月3日，在香山双清别墅接见了李济深、马叙伦、蔡廷锴、陈其尤等民主人士，就国共和谈进行了交谈。他还听说，在此前，毛主席还在香山双清别墅接见过傅作义。他说:“共产党内有些高级干部说:‘早革命不如晚革命，晚革命不如不革命，不革命不如反革命’，我也有同感。李任潮在1927年蒋介石叛变革命后是跟着蒋介石屠杀共产党的；傅宜生在1946年蒋介石撕毁政协决议后，执行蒋介石进攻解放区消灭共产党的命令是最积极的。现在他们倒成了毛主席的座上客。1927年蒋介石叛变革命后我是被蒋介石通缉的，我一直是反对蒋介石，跟着共产党走的，现在却让我来这里坐‘冷板凳’了。”他心里很不平衡，因此动不动就发脾气。

便衣队员们把这些情况反映到队部，高富有队长说:“柳亚子先生是高级民主人士，还是毛主席的老朋友，要尊重他。因此，在他发脾气时，大家要忍耐。”但武装警卫战士，尤其是门卫、哨兵，不知道这些情况，只是按照上级布置的规定，对不认识的人要查问，这就引起了柳亚子先生对门卫、哨兵的不满。

1949年4月5日，柳亚子先生到西苑逛市场，买回一个孙中山先生的小型石膏像，门卫以为他是颐和园内的住家户的亲友（当时东宫门内和知春亭东侧住有十多家市民），就挡住问他:“找谁？”这一下惹他生气了，他说:“我住在这里七八天了，你还不认识我？”说着就举起拐杖打门卫，门卫举起右手迎他的拐杖，由于怕用力过猛把这个老先生推倒，结果右臂挨了一拐杖，但门卫还是不让他进。在东宫门内住的居民围了一圈，在看热闹。几个便衣队员看见宫门口围了一群人，走过去一看，是柳亚子先生在与门卫吵架，就说服门卫让他进来了。

1949年4月7日，中共中央办公厅主任杨尚昆、中央社会部长李克农等在景福阁召开保卫工作会议，景福阁周围布置了武装警卫哨，不是参加会议的人，不让上景福阁。偏偏这时柳亚子先生偕夫人要上景福阁，又受到哨兵挡驾，他又大骂哨兵，生气而返。

当天上午保卫工作会议结束后，高富有就把以上情况向李克农、方志纯、王凡等社会部的领导作了汇报。

1949年4月7日晚上，周恩来副主席在听鹂馆宴请国民党南京政府的和谈代表邵力子。柳亚子听说周恩来到颐和园没有去看他，以为毛主席、周副主席忘了他，就更生气了，牢骚也更多了。他说:“毛主席和周副主席再不理我，我就跳昆明湖或吊死在益寿堂。”高富有将他这些言论即时向上级作了汇报。周副主席对柳亚子的这些情况有所了解，只是因为周副主席那几天特别忙:一方面在筹备召开新政协，一方面和南京国民党政府代表团和谈，还要协助毛主席指挥军队作战，经常废寝忘食，没有时间与柳亚子谈话。周副主席给高富有打了电话，要他照顾好柳亚子先生的生活，不要惹他生气，并特别嘱咐要注意柳亚子先生安全。尽管我们队员小心谨慎，怕他生气，但不愉快的事情还是再次发生了。