1949年6月，负责筹建公安部。中华人民共和国成立后任公安部部长、政治法律委员会副主任、公安军司令员兼政委，开创国家的公安和国家安全事业，在十年内形成国家良好的社会治安秩序。

1955年被授予大将军衔。1959年4月任国务院副总理。9月任中共中央军委秘书长、人民解放军总参谋长、国防部副部长。1961年11月兼任国防工业办公室主任。他参与组织战备，指挥海防和边防作战，组织领导尖端武器及常规武器的研制和生产。1964年和贺龙等领导全军性的练兵和比武，取得很大成绩。他坚持军事和政治的辩证统一，提倡学习马列主义、毛泽东思想要联系实际，反对把学习毛泽东思想庸俗化。

1965年底被林彪等人诬陷，受到错误批判，被迫跳楼自杀，经历了第三次大难不死。“文化大革命”中受残酷迫害，左腿致残。

1977年复任中央军委秘书长，协助邓小平领导军队的整顿，积极参加和领导“实践是检验真理的标准”问题的讨论，提倡恢复和发扬实事求是的思想路线，为中共十一届三中全会的召开准备条件。是第一、二届国防委员会委员，第三届国防委员会副主席，第一、二、三届全国人民代表大会代表，第五届全国人大常委会委员，中国共产党第七届候补中央委员，中共第八届中央委员和中央书记处书记，第十一届中央委员。1978年7月去西德治腿，8月3日因在手术台上心脏病突发而逝世。