1951年国庆节的晚上，彭德怀在指挥我军回击美军的“秋季攻势”的间隙中，给毛泽东发去一封电报，提出我军逐步实行军衔制的问题。电报中说:“我人民解放军来自各根据地，许多具体制度不一致，目前统一教材、编制、纪律、内务规则、礼节已非常必要。长期无官阶制度，一时评定官阶是困难的，目前宜采取过渡办法，规定职务识别，在目前战斗中已感必要。”

1952年11月12日，毛泽东亲自主持召开中央政治局会议，讨论并一致通过了将在1954年实行军队改革的决议，决定在军队内部实行“四大制度”:即征兵制度、薪金制度、军衔制度和勋章奖章制度。这次会议作出的在军队内部实行军衔制度的决定，标志着我军首次评定军衔工作终于全面展开。

11月13日，彭德怀主持召开中央军委会议，传达中央政治会议精神，研究部署如何在军队实行这些制度。参加会议的中央军委成员对党中央决定在军队实施“四大制度”都非常高兴，并且认为，中国军队早就应该实施这四项制度，尤其是在军内实施军衔制度，许多人都表现出了极大的热情。会议决定由总政治部会同有关部门尽快拟定实施军衔制的具体方案。

根据党中央、毛泽东和中央军委的指示精神，罗荣桓率总干部管理部副部长赖传珠、徐立清会同有关部门，与苏联专家经过反复酝酿，提出了第一套军衔等级设置方案。这个方案拟设6等20级:即元帅3级，大元帅、国家元帅、兵种元帅；将官4级，上将、准上将、中将、少将；校官3级，上校、中校、少校；尉官4级，上尉、一级中尉、二级中尉、少尉；军士4级，准尉、上士、中士、下士；兵2级，上等兵、列兵。

11月26日，罗荣桓代表总干部管理部向毛泽东和中央军委呈送了关于实行军衔制度准备工作的报告和这个方案。

这个方案基本是照搬了苏军军衔的模式，略微与苏军有所不同的是，在上将军衔中多了一个“准上将”。但是，就是这个略微的差别也遭到了当时的苏联顾问卡苏林的反对。卡苏林反对在中国军队中设置“准将”这一军衔的理由很简单，那就是苏军没有“准将”这一军衔，苏军少将的下面就是上校，苏联军队中的副师长通常就是上校。如果我军设置了准将这一军衔，副师一级的军官就可以授予准将。也就是说，按照这个方案，我军的副师长就可能高于苏军的同等军官军衔，这样，在与我军的交往中，苏军的副师长就低于我军，对于苏联军官是不利的。在此期间，莫斯科也发来电报，支持卡苏林的意见。

当时，苏联是我们学习的样板，苏联的意见在中国高层中是举足轻重的，所以，1952年搞的这个第一方案没有被采纳。1953年初，中央军委发出《关于实施军衔制度准备工作的指示》，准备于当年7月份在全军实行军衔制度与薪金制度。根据这一指示精神，罗荣桓率总部有关部门在第一方案的基础上，充分考虑了苏联方面的意见，同时也参考了当时的朝鲜民主主义人民共和国的军衔制度，并结合当时我军的具体情况，又重新提出了一个方案，称作《中华人民共和国人民解放军军衔条例(草案)》。在这个方案中，在少将―上校之间增设了一个“大校”军衔，把在第一方案中称作“上将”、“准上将”的军衔分别改称为“大将”、“上将”。这样，在将官系列里，就形成了大将、上将、中将、少将，在校官系列里就有了大校、上校、中校、少校的设置。对于尉官系列，第二套方案也做了较大的调整，将第一方案中被称为“上尉”、“一级中尉”、“二级中尉”的军衔叫法，改为“大尉”、“上尉”、“中尉”，同时保留原方案中的“少尉”军衔。准尉以下的军衔基本上沿用了第一方案中的叫法。但由于各种原因，这个方案也未能如期实行。

1953年底至1954年初，中央军委在北京召开了一个长达55天的军队高级干部会议，几百名中国军界高级领导在这里共商军队改革问题。在这次会议上，中央军委明确提出了要在人民解放军中实施军衔制、干部薪金制和义务兵役制三大制度。会后，彭德怀向毛泽东呈送了一份报告，提出“军衔主要是确定每一个军人在队列中的地位和职权，以便按职责条令的规定，履行职权，仅是国家给予军人的一种荣誉，以鼓励其在军队中的工作和上进心。”

10月，经罗荣桓提名，宋任穷调任总干部管理部第一副部长，同赖传珠和徐立清一起协助罗荣桓工作。

1955年1月23日，中央军委发出《关于评定军衔工作的指示》和《关于颁发勋章奖章工作的指示》。1月28日，总政治部印发《关于实施军官服役条例，实行军衔制度的宣传要点》。2月8日，包括军官军衔制有关内容的《中国人民解放军军官服役条例》(以下简称《条例》)，经第一届全国人民代表大会常务委员会第六会议审议通过，由毛泽东签署命令，在全国公布实施，这个条例规定了中国人民解放军军官的条件、来源、军衔、奖励、权力和义务、预备役等问题，同时宣布人民解放军将于1955年10月1日开始实行军衔制度。军官军衔等级正式设为四等十四级:即中华人民共和国大元帅、中华人民共和国元帅；大将、上将、中将、少将；大校、上校、中校、少校；大尉、上尉、中尉、少尉。

《条例》规定:“军衔是军官终身的光荣称号，非因犯罪经法院判决，不得剥夺。”因此，解放军实行的军衔制度，属于永久军衔性质。永久军衔的特点是，将军官的荣誉称号、待遇、等级和职务因素融为一体，使其兼有调整部队指挥关系和调整个人利益关系的两种功能。当然，军官犯了错误，“军衔降级可以作为一种惩戒”。还规定:在一般情况下，“军衔高的军官对军衔低的军官，军衔高的为上级。当军衔高的军官在职务上隶属军衔低的军官时，职务高的为上级。”根据这一规定，同在一个连队工作的上尉副连长，必须作为下级而服从中尉连长的指挥。

1955年8月11日，国防部部长彭德怀、总政治部主任罗荣桓下达了《关于军士和兵评定军衔的指示》，士兵军衔正式设为二等五级:即上士、中士、下士；上等兵、列兵。这样，军官和士兵军衔等级设置总共为六等十九级。根据中央军委的指示和《条例》的要求，我军第一次给每一位军人定职定衔的工作从上到下全面展开。

在全军评定军衔即是一件意义十分重大的工作，也是一项全新的复杂的系统工程。由于我军的干部队伍情况比较复杂，不仅有土地革命战争时期、抗日战争时期和解放战争时期以及新中国成立后入伍的干部，还有少数民族干部及起义将领。战争年代，他们在不同地区作战，立下了战功，为革命事业和军队建设作出了贡献。新中国建立后，他们任职和级别有高有低，德才表现各有差异。而授衔本身又是涉及到每个人的利益，许多人对这次授衔工作期望值很高，对这次授衔工作能否真正做到赏罚分明也十分关注。可以说，在评定军衔时，能否做到公平合理，基本上符合本人状况，是关系到能否进一步调动广大干部的积极性，增强党内和军内的团结的大问题。

当时负责这项工作的是国防部部长彭德怀和总政治部主任兼总干部管理部部长罗荣桓。根据规定，元帅由中共中央书记处提名；少将以上的由彭德怀、罗荣桓负责，总干部管理部副部长宋任穷与赖传珠、徐立清、萧华、王宗槐等人参加。

在评衔过程中，彭德怀、罗荣桓等主管评衔的领导人，始终坚持公道合理、实事求是，又照顾五湖四海的原则，对每人应授什么军衔，主要是根据现任职务，对军队建设的贡献、战功和现实德才表现，并适当考虑个人资历，同时又作全面衡量。他们带领干部部门按上述原则，首先选出各类人员的标杆，然后按每个人的具体情况反复进行衡量比较，最后提出评定军衔等级的意见。对于拟授予中将、上将的234人，罗荣桓亲自主持会议，逐一研究讨论，有了问题随时向军委请示。少将这一级的评定，罗荣桓委托赖传珠、徐立清、萧华和王宗槐等负责，遇到难以确定的问题，再由罗荣桓主持会商解决。

与此同时，校官、尉官和军士、兵的评衔工作也在各总部、各兵种、各大军区和部队展开。

经过紧张繁忙的工作，授予元帅军衔的人员名单经中央政治局审查通过，授予将级军衔的人员名单经中央军委审查通过，授予校官以下军衔的人员名单经相关部门审查通过。1955年9月初，在罗荣桓主持下，军委召开了授衔工作总结会议，彭德怀、刘伯承、贺龙、陈毅、徐向前、聂荣臻、叶剑英等都出席了会议，在会上，罗荣桓宣读了经中共中央和毛泽东主席批准的少将以上人员名单，其中元帅10名、大将10名、上将55名、中将175名、少将800名。我军首次军衔评定工作基本就绪。