毛泽东了解杨尚昆办事牢靠，即使要调离他的工作，仍分派他一些重要任务。在杨遭贬黜一个月前的9月16日，杨还受命与庐山会议后一直赋闲接受批判的黄克诚同志谈话，那次是向黄宣布调黄任山西省副省长。10月19日，杨受命与调任三线副总指挥的彭德怀谈话。现在，杨自己也被调离岗位，另行分配工作。11月17日，杨奉毛泽东主席命，去看望王稼祥同志，次日，杨又去看望了陈云同志。虽然在日记中未写是否受毛的委托，但以杨当时的身份，不可能单独去拜访陈云同志。(1998年，杨在一篇文章中写道，这次去拜访陈云同志也是奉毛主席之命去的。)杨在看望过王稼祥、陈云同志后的第三天，专门就此探望给毛泽东写了书面报告。而在11月19日，杨还就这两次探望向周恩来作了口头汇报。

11月19日，杨尚昆向周恩来的汇报，是这两位革命老战友的最后一次见面。杨的日记写道，这次谈话“从上午十一点到一点半”，至于所谈内容，即在汇报了与王稼祥、陈云同志谈话情况后，杨与周谈了什么，日记中付之阙如。直到1976年初，杨尚昆在山西临汾流放期间的日记，以及1998年为纪念周恩来诞辰一百周年而发表的文章中，才对这次谈话的内容作了披露:杨尚昆对周恩来说:“由于我工作岗位特殊，涉及面很广，做了些工作，也犯过些错误。许多事情你都了解，有些问题只有你知道，我没有向中央其他同志说过；但也有你不了解的，我不愿意多说。如果发生意外的情况，要处分我，甚至要开除我出党，只要你知道我是坦白的、无辜的，我就心安了。我决不计较个人利害，也不愿意说不应当说出的事。周总理两眼一直盯着我，听完我说的话，……然后对我说:‘不至于如此，你放心!’”杨尚昆还回忆了周当时的表情:“眼睛特别明亮，似乎含着眼泪。”

杨尚昆是一个有着高度组织纪律性的老共产党员，在如此紧张的气氛下，他承受住巨大的精神压力，照常工作，有条不紊地向中办同志办理移交手续，即使对他的老伴，有着几十年党龄的长征老干部李伯钊同志，也口风很紧，不深谈什么。在11月2日的日记中，杨写道:“晚间散步时，同伯钊谈了一下，她有些疑虑，不好向她说明”。这一天，杨“勉强工作到(夜)十二时后”。

杨尚昆对于他的夫人李伯钊是这样，对于中央常委、德高望重的朱德委员长也是这样。1965年11月27日，是朱德八十大寿的日子，杨去朱德家，“坐了一下，未谈什么，彼此心照而已”。何以如此呢？杨尚昆与朱德都是四川人，也是革命几十年的老战友，杨主持中办二十年，与几位中央常委朝夕相处，彼此间知根知底，有些甚至还知心，即如杨所说的，他与朱德“彼此心照”。朱委员长年事已高，事实上已属赋闲，杨对朱德的境遇一清二楚，而朱委员长对杨的工作调动事却很难说事先予闻。在朱委员长八十大寿的日子里，两位老战友无言默对，情何以堪!

1965年12月，由姚文元评吴晗《海瑞罢官》一文引发的政治风暴已经来临，北京市风紧云急。由于杨已被调离领导岗位，不再参预中央领导事务，故在日记中对这一事件无一字反映，但事实上，当时，杨尚昆透过此事，已预感政局即将面临大变动:“大有山雨欲来风满楼之势”(1998年杨尚昆在文章中回忆到当时的情景)。现在又一位领导同志处于前沿，他就是曾参加约谈杨尚昆的彭真同志。至于彭真被其它领导同志约见谈话，免去职务，则要到半年以后。

1965年12月8日，杨尚昆在日记中写道:“得知常委各同志都去上海开会去了!”这次会议就是中央“处理”罗瑞卿同志问题的上海政治常委扩大会议。此时，杨根本无法想到这次会议会和自己有何关系，杨事先也无从获悉会议的内容，因为这次连刘少奇也不知道去上海开什么会。上海会议虽与杨无直接关系，但有间接关系，半年以后，杨尚昆被与彭真、罗瑞卿、陆定一同志绑在一起，成为子虚乌有的“彭罗陆杨反党集团”的主要成员。

1965年12月10日，杨尚昆整装登上南下广东的火车，这时，上海会议正紧锣密鼓地进行，杨心情黯然，告别送行的妻儿和中办的同事，他在当天的日记中写道:“感慨甚多，非言语所能表达，”最后的一句话是:“十六年的北京生活，今天开始变了，一切只能等时间!”