1952年5月，北京市开始酝酿拆除牌楼，此问题由公安局交通管理处首先提出。他们认为，大街上的牌楼附近交通事故频繁，牌楼影响交通是导致交通事故的主要原因，建议建设局养路工程事务所拆除牌楼。

这一年，在文津街北京图书馆门前发生一起严重的交通事故。原北京市城市规划管理局总建筑师李准回忆道:

那里的交通环境的确不好，自北海大桥下桥向西正逢下坡道路，车速一般较高，经过通视条件稍好的金鳌牌楼后即面临原北京图书馆门前附近的“三座门”。它有3个门洞，开间不大，一般只能通过一部汽车，再向前又遇到向北的弯道，行车视线受到较大的障碍。当时一部汽车自东向西疾驶，但快要进三座门时突然发现转弯过来的另一部汽车迎面驶来，这位司机看到迎面来的车里有前苏联专家乘坐，在已无法采取任何措施躲避的情况下，这位司机出于对“老大哥”的尊重，毫不犹疑地把车撞在三座门的门垛上，专家的车有惊无险地顺利通过，这位司机却失去了年轻的生命。当时，这类事故已有多起，很显然，道路间建筑物与交通的矛盾已达到非常尖锐的地步，应该迅速合理地予以解决。

1953年5月，北京市的交通事故简报称:“女三中门前发生交通事故4起，主要是因为帝王庙牌楼使交通受阻所致。牌楼的戗柱和夹杆石多次被撞，牌楼有危险。东交民巷西口路面坡度过陡，又有牌楼阻碍交通，亦属事故多发点。”

5月4日，中共北京市委就朝阳门、阜成门和东西、西四、帝王庙前牌楼影响交通的问题向中央请示:拟拆掉朝阳门、阜成门城楼和瓮城，交通取直线通过；东西、西四、帝王庙牌楼一并拆除。5月9日，中共中央批准了这个方案。并指出进行此项工程时，必须进行一些必要的解释，以取得人民的拥护。

北京市副市长吴晗担起了解释拆除工作的任务。梁思成与吴晗发生了激烈的争论。梁思成认为，城门和牌楼、牌坊构成了北京城古老的街道的独特景观，城门是主要街道的对景，重重牌坊、牌楼把单调笔直的街道变成了有序的、丰富的空间，这与西方都市街道中雕塑、凯旋门和方尖碑等有着同样的效果，是街市中美丽的点缀与标志物，可以用建设交通环岛等方式合理规划，加以保留。

据吴良镛回忆，梁思成一次当看吴晗和市政府秘书长薛子正的面，对周恩来说:“我对这两位领导有意见，他们不重视城楼的保护”。

当年在国务院工作的方骥回忆起梁思成与吴晗的一次冲突:

梁先生为了旧都多保留一些有价值的牌坊、琉璃宫门等古建筑，在扩大的国务院办公会议上，和自称“改革派”的吴晗同志争得面红耳赤，记得有一次，吴晗同志竟站起来说:“您是老保守，将来北京城到处建起高楼大厦，您这些牌坊、宫门在高楼包围下岂不都成了鸡笼、鸟舍，有什么文物鉴赏价值可言!”气得梁先生当场痛哭失声，这都是我们这些在场作记录的同志耳闻目赌的事实。

1953年的一个夏夜，林徽因与吴晗也发生了一次面对面的冲突。

那是文件部社会文化事业管理局局长郑振铎邀请文物界知名人士在欧美同学会聚餐。席间，郑振铎感慨道，推土机一开动，我们祖宗留下来的文件遗物，就此寿终正寝了。林徽因则指着吴晗的鼻子，大声谴责。同济大学教授陈从周回忆道，虽然那时林徽因肺病已重，喉音失嗓，“然而在她的神情与气氛中，真是句句是深情。”

梁思成致信中央领导，认为以“纯交通观点”来决定牌楼存废是片面的，应该从城市整体规划的角度来考虑文物保护以及避免车祸的办法，例如可建设交通环岛，将牌楼保留为街心景观等。”

交锋越发激烈。

1953年7月4日，北京市建设局奉市政府指示，牵头组织关于交民巷和帝王庙牌楼拆除问题座谈会。会议同意拆除交民巷的两座牌楼。关于帝王庙牌楼，文物部门的意见是最好能够保留，或易地重建。