彭德怀通过一段的学习之后，写成了五万多字的读书笔记，里面用大量的事实阐述了大跃进的错误和影响，彭德怀预言“宁左勿右”的方针必将把中国引向一个非常严重的局面上去。一九六一年，八届九中全会上毛泽东被迫接受陈云等人的建议，提出调整的方针，彭德怀以为自己有希望复出，就给毛泽东写信，回到湖南做农村调研工作，毛泽东表示同意，年底彭德怀回来交上调查报告，哪里想到当时的中央正在紧锣密鼓的成立彭德怀专案审查委员会。一九六二年一月二十七日，刘少奇在七千人大会上说彭德怀给毛泽东写信本身没有什么大不了的，一个政治局委员向中央主席反映问题是正常的，彭的问题是两点，一个是主席说的彭高合流，他是高饶集团的漏网之鱼，二个是同志们揭发的彭里通外国，有国际背景。所以，所有人都能平反，彭德怀不能平反。这时身边的毛泽东插话定了调子：“里通外国什么时候也不能平反，彭是搞颠覆的。”根据彭的身边工作人员回忆，彭看到这个决议之后，放声大哭，手脚冰凉。二月一日开始到六月结束，彭德怀气愤难平写就了著名的万言书给毛泽东、刘少奇、林彪等中央常委，万言书长达82000字，历时四个多月，是我党著名和重要的文献之一，它集中阐述了彭德怀同志的政治观点和思想，批驳了加在他身上的所谓的彭高联盟和里通外国等无中生有的罪名，八月二十二日，彭德怀再次给毛泽东上书，称：“如果审查出我有里通外国、颠覆中国的企图，可以受到任何党纪国法的严惩，绝不怨恨。”而此前，毛泽东在八月五日视察武汉时，和陶铸、张平化、王任重等人谈话时指出：“彭德怀这个人我比较清楚，那是不能给他平反的，这是个铁案。”彭德怀上书不久，毛泽东批示：翻案。中央于是根据毛泽东的指示精神成立彭德怀专案审查委员会，主任为贺龙。专案审查委员会给彭德怀定的调子是：资产阶级军事路线中国代理人和篡党篡军的头子。彭德怀从此失去人身自由，直到他病故为止，期间长达十二年的屈辱的生活，令人无法以言语表述。

一九六五年九月，《彭德怀专案审查报告》第五稿出来后，毛泽东忽然让人把彭德怀找到中南海，请彭出任三线建设委员会副主任，并且说了诸如真理也许在你的一边等话语，让彭德怀倍感亲切，以为自己万言书起了作用，毛泽东还对彭说将来打仗还可以带兵借以恢复名誉等，彭很高兴。然而事实的真相是，一九六五年三月，美国出兵南越，中央做了支持越南的决议，四月十二日，中央发出一切为了战备的指示，毛泽东认为彭德怀、习仲勋、黄克诚等人不宜留在北京，可以找一个可靠的地方把他们“管”起来。这就有了彭德怀这次的“流放”。

彭德怀一九六五年十一月三十日到达成都，十一月十日，姚文元在江青的指使下已经炮制出来了《评新编历史剧海瑞罢官》一文，把吴晗和彭德怀集中联系到了一起，目的在于打倒北京市委。彭德怀到达成都后，李井泉拒绝和他见面，此前几天彭真和李井泉打招呼，传达邓小平的指示，不准难为彭德怀同志，李井泉自然照办，然而还是没有见面。西南局规定彭德怀有关军工生产的工厂一律不得参观、介入、考察，出行必须有一名局长“陪同”，正如杨尚昆指出的那样“所谓的看护彭总的生活其实是监视他的起居。”不过因为邓小平的关照，所以，彭在四川期间并没有受到多大的为难。

一九六六年十二月二十七日，北航红旗的红卫兵在江青、戚本禹的指使之下，把彭德怀绑架到北京，中间除了周恩来通过卫戍区把彭以“看押”的名义保护七个月外(关于周恩来和彭德怀另外有文介绍)，彭德怀基本一直处在非人的待遇中，彭德怀多次被打，尽管如此他还异常的关注国家的生产建设，他给周恩来写的唯一的一封信中还是为了中国的镁矿出口生产问题，信中抬头第一句就是：“今天被打的狠了···”。彭德怀被关押期间，禁止任何人探视，黄永胜在贺龙被打倒之后亲自管理彭德怀的专案，一九七零年专案组判处彭德怀无期徒刑，开除党籍和党内外一切职务。看押彭德怀的工作人员回忆彭德怀后期因为直肠癌已经被割去了肛门，异常痛苦，他对自己说：“妈个×，疼得受不了，干脆死了算了。”彭德怀经常对战士说的几句话是：“警卫战士，疼得我一点办法也没有了，我实在忍受不了了，你帮我打一枪吧。”有一次彭德怀被打回来之后，说了他一生唯一的一次对毛泽东和党中央的牢骚话：“无缘无故地关了我这么多年，有谁来看过我一次，又有谁找我谈过一次话，我枪林弹雨中征战了一辈子，到如今落得这样一个下场，苍天啊！你真不长眼！”

彭德怀临死之前还在为自己辩护没有里通外国，在他被看押期间除了黄克诚和他见过一面外，就只有上将李聚奎给这位功勋卓著的元帅鞠过一个躬(李聚奎回忆到：“一个月后的一天，彭德怀的房间打开了。只见他侧着脸躺在推车上，被护理人员推出来。我忙走上前去，只见他对我轻摇了一下头，示意我不要说话，我也只好微微地向他鞠了一躬。”)，彭德怀临死之前说的两句话是“毛主席发展了马列主义。”“审查了我八年，也没有结论，我不搞阴谋诡计，这点我是清白的。”

公元一九七四年十一月二十九日，彭德怀同志与世长辞，终年七十六岁，骨灰盒上写的名字是“王川”。

黄克诚在回忆庐山会议时对毛泽东，他说了一段意味深长的话出来，黄说：“当时毛主席叫我临时上山开会是给彭德怀同志的反党集团凑班子，既然叫反党集团，总不能只有一个人，彭德怀搞反党集团，你们想想，没有黄克诚参加谁能相信？”(《彭德怀》第255页)如果再往深处想，黄克诚被安排在彭的隔壁居住，同是河东路176号，那么问题确实不那么简单了。