1954年4月，毛泽东曾在四日内三登故宫城墙。

1954年4月18日下午，毛泽东乘车至故宫神武门内，由东登道上神武门城楼，沿城墙向东行至东北角楼转向南，经东华门、东南角楼，到达午门，由午门城楼下城墙，回中南海。

4月20日下午，毛泽东乘车至故宫午门内，登午门城楼，参观设在那里的历史博物馆出土文物展览，下城楼回中南海。

4月21日下午，毛泽东乘车至故宫神武门内，由西登道上神武门城楼，沿城墙西行，经西北角楼、西华门、西南角楼，到达午门下楼离去。

三次路线相加，毛泽东正好在故宫城墙上绕行一周。这是毛泽东到故宫仅有的三次记载，而这三次他只登城墙不入宫内。

在城墙上漫步徐行，毛泽东有何感想？他是否想到了故宫改建计划？他为什么不到故宫里边走走？其中内情无人知晓。

“清除糟粕建筑物计划”

1952年10月，北京市政府召开会议讨论工程项目，梁思成在笔记本上记录了一位发言者的意见：“不同意天安门内做中央政府。”

1953年7月，北京市市政建设部门及各区委对城市规划发表意见，绝大部分人主张拆掉城墙，认为要保护古物，有紫禁城就够了，并提出“中央主要机关分布在内环，将党中央及中央人民政府扩展至天安门南，把故宫丢在后面，并在其四周建筑高楼，形成压打之势”。

1955年梁思成的建筑思想遭到批判。当时在中宣部任职的何祚庥在《学习》杂志发表批判文章称：“旧北京城的都市建设亦何至于连一点缺点也没有呢？譬如说，北京市的城墙就相当地阻碍了北京市城郊和城内的交通，以致我们不得不在城墙上打通许许多多的缺口；又如北京市当中放上一个大故宫，以致行人都要绕道而行，交通十分不便。”

“大跃进”时期出现的“三年困难”，使北京市1958年提出的改建故宫及十年左右完成旧城改建的计划，被迫搁浅。但在此期间，故宫博物院提出了一个“清除糟粕建筑物计划”。