1917年10月20日，捷尔任斯基领到一项任务--创建并领导全俄肃反委员会。当年12月，“全俄肃清反革命和怠工特设委员会”在彼得格勒的豌豆街２号诞生，人称“契卡”，它就是后来令世人闻之胆寒的KGB前身。

捷尔任斯基无疑是最合适担任这个职位的人选，他的革命生涯中一共七次被捕，坐牢时间长达11年，没有人比他更知道沙皇俄国专政机关的漏洞在哪里。

捷尔任斯基出身小贵族家庭，身材挺拔修长，面容清矍消瘦，山羊胡子、夹鼻眼睛外加他的彬彬有礼，一幅标准贵族知识分子形象。只有他那双眼睛能暴露他的身份，--有人这样形容他：“那双深陷的眼睛闪烁着狂热信仰的冰冷的光芒。他从来都不眨眼，似乎他的眼皮是瘫痪的。”

从那时起，那冰冷的眼睛一眼不眨地在苏联各地站了70多年岗，--捷尔任斯基是KGB系统领导人中，惟一死后在苏联国内各地有塑像的人。

捷尔任斯基堪称完美的布尔什维克。列宁等知识分子领袖，流亡海外时就从来就不缺钱花，工农出身国内成长起来的很多同志们，胜利后很快开始追求生活品质，而捷尔任斯基生活下去只需要三样东西：面包、清水和工作。他只有办公室，没有家，他从不看戏，也不看电影。

十月革命后苏维埃面临的复杂形势，需要捷尔任斯基这样的坚强战士。

苏维埃成立后，布尔什维克与其惟一的政治盟友--代表农民利益的社会革命党，很快在一系列重大问题上产生激烈冲突。

社会革命党反对列宁对德国割地赔款的《布列斯特条约》，称列宁是“德帝国主义的走狗。”1918年7月6日，“契卡”中的社会革命党成员枪杀了德国驻苏大使。

双方最严重的对立，著名电影《列宁在1918》中的一幕即可清晰反映：一位穿着破烂的富农想和列宁辩论，说到一半，列宁激动地打断道：“……你们富农存在一天，就得给我们粮食。如果你们用武力对付，我们就消灭你们。这就是我们工人和农民的真理！”而社会革命党人放话：“我们要把你们派去的征粮队和贫农委员会揪着后脖领子从农村扔出去！”