1980年上半年，山西省委对“农业学大寨“、“普及大寨县”的工作进行总结，后来还写出了《关于全省农业学大寨经验教训的初步总结》。文件指出:大寨“左”的路线“需要体现它的典型；大寨由于其代表人物的关系，也就很自然地走向反面，成为农业战线推行‘左’倾路线的典型”，“文化大革命”以来，“在大寨和昔阳县推行左倾路线，主要由陈永贵负责”（1980年8月 24日山西省委《关于全省农业学大寨经验教训的初步总结》）。

后来，邓小平向山西省委转发了这一文件，不久，陈永贵辞去了中共中央政治局委员和国务院副总理的职务。在1982年党的十二大会议上，“下台”的陈永贵没能当选为中央委员，但他住在北京部长楼里，生活待遇和从前一样。

虽然退下了“总理”的神坛，但他仍保持着农民本色——哪里有劳动，就往哪里钻；他担任东郊农场顾问后，多次到农场帮助那里分析农业生产情况。

国务院副总理陈永贵、中央副主席汪东兴、山西省委书记王谦合影