斯大林要为基洛夫报仇。2周后，斯大林的反对派季诺维也夫、加米涅夫等因“谋杀基洛夫”而被捕。但雅戈达居然把这个案子办成了刑事案，被迅速枪毙，驱逐、流放、判刑的人不少，而季诺维也夫、加米涅夫等要人一个都没枪决。

这个后果很严重。

1936年9月25日，斯大林给政治局的同志们一封电报：“我们认为，任命叶若夫同志为内务人民委员是完全必要和紧急的事情。雅戈达显然在揭露托洛茨基一季诺维也夫集团的工作中未能出色完成自己的任务。国家政治保安总局在这项工作上延误了4年时间……”

政治局委员卡冈诺维奇说：“我们的父亲的这一决定毫无疑问是卓越、英明的。”

1天后，雅戈达的职务变成邮电人民委员，4个月后，他变成了预备役人员，再过2个月，雅戈达的继任者叶若夫宣布“雅戈达是沙皇暗探局的侦探、骗子和盗用公款者。”

最后，雅戈达供认了如下罪行：参与托洛茨基集团、德国间谍，杀害高尔基、古比雪夫、明仁斯基，谋害叶若夫、谋杀基洛夫。

1938年3月15日，雅戈达被枪决。

人民公敌雅戈达的父亲给斯大林写了一封忏悔信，他最后恳求：“我们两位老人请求您，希望能让处在这种艰难的精神和物质条件下、没有任何生存办法的我们在幸福的苏维埃国家里平静地度过已经不长的余生。”

雅戈达一家在内战期间为革命贡献了2个孩子，最后，雅戈达的父母、妻子以及其他亲属均因他而死，他身边的一大批同事亦未能幸免。

亚戈达在1934-1935的任职期间，逮捕了26万人，曾亲自签署过逮捕自己亲侄女的命令，但他听说手下惩罚女囚在冰天雪地中赤身裸体，会愤然下令调查“这样的恶棍是从哪里混进来的！”并且，他偶尔能释放无辜者，他的前后任都做不到这一点。