1984年4月11日举行第12轮会谈，中英香港谈判开始进入第二个议程，即1997年之前的安排问题。有关这项议程的核心问题就是小平讲的要保证过渡时期香港的局势能保持稳定。小平怕他们在这个期间制造混乱，需要有一个中英联合机构进驻香港。

我们就根据小平的意思拟了个草案，开始的名字叫“中英联合委员会草案”，在谈判桌上交给英方。英方一看，大吃一惊。用柯利达回忆录上的话，就如“晴天霹雳”一样，没想到中国还有这么一手。然后英方开始顽抗，无论如何不同意，说那不等于1997年之前香港就由中英共管了吗？谈判卡壳了。后来我们把联合委员会改叫联合小组，英方还是不让进驻。

6月中旬的第16轮谈判结束以后，决定成立一个负责起草正式文件的工作小组。但仍不同意在香港设立“中英联合联络小组”。这个时候柯利达也有点着急，因为再过两个月就到了两年的限期了。他建议管香港问题的外交大臣杰弗里-豪再到中国来访问。

这个时候我也考虑了一下，英国的顾虑无非是怕我们干预日常的行政事务。我们把这个机构的任务讲清楚点，不干涉香港政府的日常行政事务，它的任务主要是根据中英《联合声明》的条款，对涉及平稳过渡的问题研究讨论，作出决定。另外，时间上也还可以照顾一下，给英国人一个面子下台阶。

我们向小平同志汇报后，他说：进驻是必须的，名称可以改变，进驻时间早晚也可以松动。晚两年进驻和晚两年撤销也无所谓。你们争取按此方案谈出个结果来。

第二天，7月28日，杰弗里-豪这班人马就到了，住在钓鱼台。中午，我安排了一次会见，由我做东，请柯利达、高德年等人吃午餐。那次午餐我就打出这张牌来，我说：现在已经到了这样的时刻，这个问题需要早一点解决。我提出，联合小组必须进驻香港，除了明确规定任务之外，进驻的时间可以晚点儿。1984年年底正式签署协议，可以1988年1月1日进驻，到2000年结束。我说：这是中国最后的方案。如果你们还不接受，我们撤回我们的方案，这个不算数了，撤回方案的后果你们负责。

柯利达在他的回忆录里讲，说他坐飞机，本来时差还没有倒回来，吃饭的时候正昏昏欲睡，一听到这个情况猛然惊醒，意识到中国要摊牌了，不能不严肃地对待。他这样写道：我睡眠不足。从家出来第一个夜晚就主要跟杰弗里-豪和高德年一起在飞机的后舱里，为联合联络小组起草的职权范围进行反复修改，对跟能豪饮茅台的周南先生共进午餐并不十分感兴趣。但是，他的信息令我顿时清醒过来。他说中方有一些重要的领导人会议即将迫近。他们会影响香港。那就暗示着悬而未决的问题必须在未来的2到3天内解决。否则，中国人就会收回原先所提出的方案，谈判就会失败。

午餐后柯利达马上从2号楼跑到他们住的楼，把这个情况向杰弗里-豪和港督尤德等人作了汇报。杰弗里-豪一听，说：你不要在屋子里谈，屋子里可能有中国安的窃听器。咱们到外边，找个大树底下谈。

那时候是7月份，骄阳似火。杰弗里-豪的回忆录里面有一段很生动的描写，他说：天晓得大树底下是不是也有窃听器。

杰弗里-豪认为这是中国底线，不能再拖延和僵持了。但尤德不同意，说要逼中国做更大的让步，最好能打掉联合小组。但是，他是少数，多数还是认为搞不好要破裂，要马上向伦敦发报提出建议。所以那天下午的会谈，柯利达缺席，我们想他大概是跑回使馆发电报去了。第二天，姬鹏飞请吃饭，刚喝了个汤，那边就来电话把他叫回去了。我想是回电了，果然是这样。撒切尔夫人同意跟我们达成妥协，只是还要英方代表争取再晚些年才让小组进驻香港。

我们说是1988年进去，后来他们提出推迟到1993年，协议签署后再进驻，我们断然拒绝。英方提出进去要再晚几年结束工作，我说不行。我们提出联合小组到2000年1月1日结束，他们也不干，想拖到2002年。我也拒绝了。

结果杰弗里-豪见赵紫阳的时候说，1988年的1月1日让联合小组进驻香港，时间太早了，再松一松，就7月1日吧。赵紫阳和我们商量了一下，想想半年也可以让，就让了他半年，确定联合小组自1988年7月1日进驻。这样就达成协议。

我们一达成协议，马上报告给小平同志，他就坐专列回来见杰弗里-豪。31日早晨回到北京。在会见杰弗里-豪之前，小平同志找我们去汇报，听了后说：那好了，大问题都解决了，等会儿我见他的时候就可以讲欢迎英国女王来访了。

12月17日，杰弗里-豪同撒切尔夫人来到北京钓鱼台，出席中英《联合声明》的正式签字仪式。撒切尔夫人在回忆录中说：“协议并不是，也不可能是我们的胜利，因为我们是同一个不肯让步，而且在实力上又远远超过我们的大国打交道。”

1984年10月美国《时代》周刊在报道中英协议达成的文章中说：中英谈判像是一场“双方比赛胆量的战斗，而英国方面首先败退下来”。

1984年10月1日，在协议草签之后的国庆节，举行了盛大的阅兵仪式。就是在那一次，游行队伍中的北大学生在走到天安门时，打出了“小平您好”的大型标语。