依据这个“特别程序”，审判开始了。12月1日在各法院审判的几十个和基洛夫谋杀案没有任何关系的反革命罪行的案件，也送交苏联最高法院军事委员会审理，几乎所有被告都宣判死刑。当时斯大林的一名亲信，苏联总检察长维斯基叫检察官们放心，不要有任何顾虑。他在1937年3月一次检察工作人员会议上宣称，大家应该记住斯大林同志的话，在一个社会的生活中，在我们自己的一生中，总有这样的时刻法律成为过时的东西而应该撇到一边。他又从学术上论证了一个前提：“即在国家的罪行中，被告的口供是最重要的和决定性的证据。正因为如此，内务人民委员部才不惜以一切手段逼取口供。”

1934年12月22日,苏联政府发表侦查基洛夫案的通报，首次提到有一个名为“列宁格勒总部”的恐怖组织，说尼古拉?耶夫即是这个组织的成员，该组织主要由季诺维也夫——加米涅夫反对派成员组成。12月27日，苏联政府公有关于“列宁格勒总部”的控告结论，确认基洛夫被杀是该组织指使所为，并说谋害基洛夫是该组织谋害斯大林和党的其他领导人的长远计划的一部分。在立即处死尼古拉?耶夫后，1935年1月15日对“总部”主要成员进行了审判，季诺维也夫等人坚决否认自己与基洛夫案有任何牵连，尽管拿不出证据，法庭仍判处季诺维也夫十年有期徒刑，加米涅夫五年有期徒刑。

l月18日，苏联共（布）中央向全国党组织发出秘密信，要求各地动员所有力量深挖敌人，由此开始了遍及全国的大逮捕，制造了无数冤案。清洗名单是逮捕人的重要依据。保安机构要负责提出“可疑分子”的名单，并按照一定的标准把他们加以分类。根据苏共第二十次代表大会上公布的材料，在大多数情况下，这些名单都是经过斯大林亲自过目，由他或者他的最亲密的同事，例如卡冈诺维奇、莫洛托夫、马林科夫或者伏罗希洛夫，来决定名单上那些人的死活。

在1935至1936年初，镇压与逮捕在国内与党内并没有遇到明显的反抗。虽然这些镇压引起了一些党员极大不安，但没有发生任何有组织的抗议行动。这种情况使斯大林更加大胆地实行他的清洗计划。1936年9月26日，斯大林撤掉了雅哥达的内务人民委员的职务。在这前一天，斯大林与日丹诺夫曾从索契给卡冈诺维奇、莫洛托夫和其他政治局委员发了一份电报内容如下：“我们认为绝对迫切需要任命叶若夫同志为内务人民委员。雅哥达显然没有能力揭露托洛斯基分子和季诺维也夫分子集团。国家政治保安局在这件事情上至少落后四年。所有党的干部和大多数内务人民委员部的工作人员都正确认识到这一点。”这样斯大林又多一个更凶残阴险的刽子手。 

随着恐怖大清洗的加剧，作为镇压专政机关的内务人民委员部变成为一个重要政治部门。斯大林把它变成自己的权力工具。叶若夫接管内务部后，它的机构扩大了人员编制。在1936年8月1日－24日审判“托洛斯基、季诺维也夫分子恐怖中心案及1937年11月23日－30日所谓反对托派中心”案之后。斯大林于1937年2、3月的苏共中央全会为他的镇压清洗制定了一个理论依据。 

在这次全会上，斯大林提出一个论点，即随著苏联社会主义建设的顺利发展，阶级斗争日益激化。他宣称党内仍有隐藏的日本、德国和托派奸细阴谋集团。在这次全会上，除已有的破坏分子“代理人”、“叛徒”这些字眼之外，又多了一个新的涵义不清的字眼“两面派”，从此在处决党干部时，就常常使用这个字眼。大规模的镇压与恐怖很快降临在苏共与人民头上。