1977年4月10日，尚未正式出来工作的邓小平致信华国锋、叶剑英和中共中央，针对“两个凡是”的错误方针发表了重要意见。此后，他在不同场合又多次指出“两个凡是”是错误的。这为知青问题的解决，提供了有利的社会氛围。与此同时，随着思想的进一步解放，如何从根本上解决知青问题，成为社会舆论关注的一个焦点。

在中央高层领导中，最早提出解决知青问题新思路的是邓小平。而面对“文化大革命”中知青问题的大暴露，特别是“文化大革命”结束后知青问题凸显的严峻形势，最早开始思考从根本上解决知青问题的还是邓小平。

1978年2月1日，邓小平在听取四川省委汇报工作时指出:真正解决下乡知青问题，归根到底是城市工业发展。重工业发展以后，是不是开辟一些就业门路，比如轻工业、服务行业，都可以用一些人。资本主义国家服务行业可以用很多人，我们用的人很少。又比如发展旅游事业，可以用很多人。对多余人员的出路要多想些办法，只能靠自己多开辟门路。全国都要研究有什么门路容纳这些劳动力的问题。3月28日，他在同国务院政治研究室负责人胡乔木、邓力群谈话时，谈到如何使城市容纳更多的劳动力问题时说:这里有一个城市结构的问题，有一个在城市里开辟新的领域的问题。要研究一下，使我们的城市能容纳更多的劳动力。现在搞上山下乡，这不是长期的办法，农民不欢迎。他还说，四川一亿人，平均一个人不到一亩地，城市人下去以后，实际上是同农民抢饭吃。我们第一步应做到城市青年不下乡，然后再解决从农村吸收人的问题。归纳起来，就是要开辟新的工业领域，做到能容纳更多的劳动力，其他领域也要这样做。邓小平的这些想法，无疑是对解决知识青年问题的一个大胆突破，体现了政治家的伟大气魄。

正是基于邓小平把上山下乡纳入城镇就业轨道这一设想，1978年4月13日，中共中央批准了农林部《关于调整国务院知识青年上山下乡领导小组和办公室管理体制的报告》，决定调整领导小组成员，并将国务院知青办由农林部代管改由国家劳动总局党组领导。这种做法显然是为了适应工作重心的转移，即由以往的动员安置下乡知青，到此后在城市中重新解决知青的劳动就业问题。与此同时，历史也迎来了契机。从1978年5月开始的真理标准问题大讨论，极大地解放了人们的思想，为从根本上解决知青问题开辟了广阔的前景。

此后，随着实践的发展，邓小平进一步阐发了把知青问题纳入到城市就业制度改革轨道的思想。1978年8月19日，他在同文化部负责人谈话时说:我们要重视开辟各种行业，不能一提行业总是上山下乡，行业道路越走越窄。上山下乡一年国家要拿出十几个亿，还要同农民争口粮，结果还不是都跑回来了？他还提出，要开辟为工业、农业服务的行业。文化也是一门行业，一个领域，这个领域是为劳动者服务的行业。10月18日，中共中央政治局开会，讨论国务院知青领导小组为召开第二次全国知青工作会议报送的《关于知识青年上山下乡问题的汇报提纲》。在这次会议上，邓小平就知青上山下乡问题的解决勾勒了大体清晰的轮廓:一个是在大城市周围发展卫星城市，如北京人口集中也可以搞卫星城镇。一个是发展轻工业，开辟新的行业领域。再一个是广开门路，要千方百计、大大地发展各种服务行业。教育也是服务行业。现在有些行业还不成为行业，有些行业还没有建立。中医是我们的国宝，这一项就可以增加很多人就业。商业人员也可以增加很多。要农、林、牧、副、渔、工业全面发展。同时，邓小平还指示:要把劳动指标搞活点，控制太死了不好调节。应该调动大家的积极性，不能由一家包起来。

邓小平的这些新思路得到了中央领导层的一致赞同，他们都认为:在坚持上山下乡方向、稳定大局的前提下，着眼于少下乡或不下乡，并通过从各方面广开就业门路，逐步从根本上解决城镇知青上山下乡问题。

在中央领导层统一思想、各方面做了充分准备的情况下，1978年10月31日至12月10日，第二次全国知识青年上山下乡工作会议在北京召开。会议总结了16年来城镇知识青年上山下乡正反两个方面的经验，确定了在新的历史条件下统筹解决知识青年问题的方针、政策和措施。会议产生了两个重要文件，即《全国知识青年上山下乡工作会议纪要》和《国务院关于知识青年上山下乡若干问题的试行规定》（即《知青工作四十条》）。其主要精神是:认为1968年至1978年的十年知青上山下乡运动，“缺乏整体规划，知青工作的路子越走越窄，下乡知青中的不少实际问题长期未能解决”；虽然还要坚持上山下乡，但这是为了条件成熟时不再搞上山下乡；要逐步缩小上山下乡范围，有安置条件的城市可以不再动员下乡；城镇要积极开辟新领域、新行业，扩大就业门路，等等。这次知青工作会议及其形成的文件，不论在认识上还是在决策上都有重大突破，标志着知识青年上山下乡的历史转折。

此后，上山下乡的规模急剧收缩。1978年只有48．09万人，1979年减少至24．77万人，且主要是到城镇郊区知青农场和知青工厂。1980年，绝大多数地区已经不再动员城镇知青上山下乡。