中国人民解放军各类院校陆续兴办后，有一些政工干部给总政治部写信，希望能有一个提高政工干部政治理论水平和文化科学知识水平的场所。各大军区也纷纷要求成立政治干部学校，轮训和培养政工干部。罗荣桓考虑，要在现代化正规化建设的新形势下，保持和发扬人民军队的光荣传统，做好政治工作，就必须有大批能适合军队现代化正规化建设需要的，具有一定的政治理论水平和文化科学知识的政治工作干部。培养这样的干部，象战争年代那样，仅仅依靠实际锻炼已经不够了。必须要有继承红大和抗大传统的，以培养各级政治干部为宗旨的院校。为此，一九五一年十二月三日，罗荣桓和傅钟、肖华向毛泽东报告说：
此次整编部队，可以节余大量政治工作干部，部队中亦深感连、营政工干部质量低。为保存和提高政工干部，各大军区均要求成立一个能收五百至一千学员的政治干部学校，专门培养营、连级政工干部，并要求军委开办一轮训师、团级政工干部的高级政治干部学校。我们感到此事极为需要，特呈请审核批准。
第二天，毛泽东签署同意，周恩来、刘少奇、朱德都表示赞同。于是，在罗荣桓领导下，筹办政治学院的工作便立即开始。首先，建立了由罗荣桓任主任、肖华和政治干部部副部长王宗槐等七人参加的筹备委员会。校址定在北京西郊永定路的一片砂石地区。经过规划设计，一九五三年六月四日破土动工。
一九五四年，罗荣桓建议调曾在抗大长期任政治部主任的东北军区政治部主任莫文骅来政治学院工作。
莫文骅一上班，罗荣桓便将他请到自己家里，研究办院方针。罗荣桓认为，在新的历史时期，学院培养的干部要能担负人民解放军现代化正规化建设中的领导工作，就必须从中国军队的实际出发，学习马克思列宁主义理论。要以研究中国革命问题为主，以研究人民军队政治工作建设为重点，贯彻理论联系实际的教学方针。通过学习理论，把广大干部在长期战争中积累的经验总结起来，变为全军共同财富。他要求学院要象毛泽东一九三九年为抗大题词所说的那样，具有“坚定正确的政治方向，艰苦朴素的工作作风，灵活机动的战略战术”；具有“团结、紧张、严肃、活泼”的优良校风。
罗荣桓指定莫文骅按上述思想制定了《办院基本方案》，这一方案于八月间由军委会议通过。
一九五四年十一月十一日，中央军委任命罗荣桓兼任政治学院院长，肖华兼任第一副院长，莫文骅任第二副院长兼教育长。
一九五五年二月十九日，政治学院速成系第一期举行开课仪式。罗荣桓和新近到任的总政第一副主任谭政（原任中南军区第三政委）以及傅钟、肖华等总政领导人早早地就来到政治学院。他们在莫文骅陪同下，参观了几座已经竣工的学员楼、教学楼，还有用席子搭成的临时食堂，然后来到也是由席子搭成的大棚子里参加速成系的开课式。
罗荣桓在全体学员的热烈掌声中走上了临时用木板搭成的主席台，巡视着台下一排排坐得整整齐齐的学员，其中有好多人他很熟悉。他们经过战争烽火的洗礼，如今已由放牛娃、红小鬼变成了指挥一个军、一个师的政工干部。硝烟虽然在他们的眼角磨出了细细的鱼尾纹，但是他们仍然很年青。他们现在刚刚洗去征尘，又坐到课堂上来了……他再看看坐在他身边的谭政、肖华、傅钟、莫文骅，不能不回忆起将近二十年前在保安、在延安的日日夜夜……
大会开始，莫文骅请罗荣桓院长讲话。在经久不息的掌声中，罗荣桓缓缓地走上讲台。他双手下按，笑眯眯地说：“自己人嘛！拍几下就是了，何必拍这么长时间呢。”
掌声止歇，台下响起一阵象微风一样的轻轻的笑声。罗荣桓首先就速成系开学说了几句话，满怀深情地回忆道：
政治学校过去是有过的。红军时代的末期是红大，也就是红军大学。那时，我和谭政、莫文骅同志都是那里的学生。抗日开始改为抗大。就是抗日军政大学。傅钟副主任曾担任抗大的政治部主任。在保安的红大，比起今天的政治学院来，是两个不同的阶段，政治学院比起过去的红大规模大得多了。那时，没有专职的领导干部，领导干部同时就是学员。那时，既没有好的教室也没有好的宿舍，没有饭堂，吃饭和上课在一个地方。课堂里只有教员有一张桌子，学生用的凳子就是石头。生活非常艰苦。比起政治学院来差的太远了。虽然那样的困难，但我们感到非常愉快。也的确学到了不少东西。许多高级干部都在政治上、思想上提高了一步。
他反复强调，在保安那个时候，条件尽管和现在是不可比较，但那个学校的艰苦朴素的优良作风，却是我们应该遵循和学习的。
接着罗荣桓指出，政治学院的任务是培养合乎部队正规化建设和国家社会主义建设需要的高级政治干部。罗荣桓要求政治学院开展对我军现代化正规化建设新时期的政治工作的研究，将军队政治工作“在现有的基础上提高一步，把它更加充实起来，总结起来”，以适应部队现代化正规化建设的要求。
速成系开课后，政治学院的建筑工程继续加紧进行。罗荣桓不断前来看望。他看到一座座大楼拔地而起，非常高兴。一九五五年十月，实行军衔制以后不几天，罗荣桓又乘车直奔西郊。车刚过永定路，远远地只见校门内外是一排排整齐的队伍。司机老牟减了速，罗荣桓仔细一看，原来学院的领导干部、教员、学员都佩戴军衔，列队站在大路两旁。罗荣桓毫无思想准备，开始吃了一惊，继而恍然大悟：哦，这是按条令规定的礼节迎候他呢！他吩咐停车。下车后和迎上前来的几位领导干部十一行礼、握手，然后便大步匆匆走过欢迎队伍。
一进办公室，他就对学院的一些领导干部说：“这样可不好啊！知道我是学院的院长，怎么还对我来这一套，这不是搞形式吗？这没有什么意思。相反，它还有副作用，起码会影响学员的学习和干部们的工作。以后无论如何不要再搞这个了。”一位干部解释说：“这是条例规定的礼仪……”罗荣桓不以为然地摇摇头说：“那个规定是对外的。我们自己人不要搞这一套。”
过了几天，罗荣桓又来到政治学院。这次虽然未组织列队夹道欢迎，但学院党委的常委们和各部门负责人还是来到校门口迎候。于是，他又和颜悦色地对大家说：“上一次是我没跟你们讲清楚，这次又来这一套了。虽然规模没有上一次大，这样也不好。这种形式主义的东西脱离群众，没有一点用处。你们不这样搞，今后我仍然可以经常来，想找谁就找谁，想干什么就干什么，也不影响你们的工作，彼此都不受拘束。一搞形式，我反而受约束了。”
从那以后，罗荣桓到政治学院，就再也不举行迎候仪式了。即使是开学、授旗这样隆重的典礼，彭德怀、罗荣桓等许多领导人来到学院，也再未组织列队欢迎。有时，罗荣桓来学院干脆事先连招呼都不打，直接到基层去、到群众中去了解情况，最后再到办公室找领导干部谈。
几年里，罗荣桓到政治学院相当频繁。尽管十年浩劫已使很多资料散失了，但现在政治学院仍然保存着罗荣桓多次在该院的讲话记录稿，其中仅一九五八年九月一个月就有四次讲话。至于罗荣桓来学院虽然讲了话但没有记录，或记录已经散失的那就更多了。
罗荣桓对政治学院的领导主要是抓大政方针。他强调要培养和树立理论联系实际的良好学风，这是贯穿在罗荣桓对政治学院的领导工作中的一条红线。他曾经多次从各个侧面精辟地论述了这一问题。他认为政治学院是搞理论的，首先要搞清楚什么是理论，他说：什么叫理论？……我们有些干部感到神秘莫测。实际上理论并不神秘，它并不是从天上掉下来的，而是从实践中来的，在实践过程中，经过综合、概括上升为理论。理论来自实践，而又回到实践中为实践服务，并在实践中得到证明、补充和发展。
应当怎样学习理论呢？他说：我们要从书本上学到马克思主义的基本知识，以帮助我们认识事物，掌握事物发展的规律。但是，书本上的东西，往往只是一些概念。决不能单纯满足于书本的学习，把书本上的东西变成死的教条，把抽象的概念公式化。因此学习理论，应该特别强调联系实际。
针对学校学习的特点，罗荣桓提出，要特别注意防止教条主义。罗荣桓认为，教条主义的特征是“把理论与实践分裂开来了”。他愤慨地说：“如果把理论看成静止的东西，那三分钱也不值。”他尖锐指出：“教条主义是最迷信的。迷信死人，不相信活人；迷信过去，不相信现在；迷信现成的公式，不相信发展。”
他认为，学习毛主席著作同学习马克思、恩格斯、列宁的著作一样，也不能采用教条主义的态度。应当学习马列主义的精神实质，而不是个别词句。他说：我们对于毛主席的著作的学习，也还是提倡实事求是，不提倡迷信。毛主席著作本身就是反对迷信的，毛主席如果不破除迷信，不破除对共产国际、对斯大林的迷信，也就不可能创造性的发展马列主义。学习毛主席的东西，也不要迷信，不要只对毛主席著作中的个别词句发生兴趣，而是要领会其精神实质。
“学习毛主席著作也不要迷信。”这是合乎逻辑的结论。既然马列主义要发展，毛泽东思想当然也要发展。既然不能只对马列著作中的个别词句发生兴趣，当然也不能只对毛主席著作中的个别词句发生兴趣。“学习毛主席著作也不要迷信”，这又是发人深省的警钟。然而到了后来，林彪大搞对毛泽东的个人崇拜，这句话就被指责为反对毛主席的重要“罪状”了。
在学习毛主席著作时，怎样才能领会其精神实质呢？罗荣桓认为，这就必须了解毛泽东撰写每一篇著作的历史背景，弄清毛泽东的某一论断是何时在何种条件下针对什么问题而发的。他说：学习毛主席著作不联系历史问题，不联系中国革命，不联系党的历史，很难学好。毛主席著作要结合中共党史来讲，政治工作要结合战争历史来讲。后来，罗荣桓将这种学习方法归纳为“一条线五结合”：学习毛泽东著作以中共党史为线索；学习毛泽东著作和选读马克思、恩格斯、列宁、斯大林的主要著作相结合；学习毛泽东著作和学习党的路线、政策、决议相结合；学习毛泽东著作和学习当前国际国内形势与军队建设相结合；通读毛泽东著作和专题研究相结合；经常性理论教育和政治运动相结合。
随着时间的推移，“五结合”中的有些内容，如“经常性理论教育和政治运动相结合”已不再适用，但罗荣桓提出的“一条线”的学习方法却具有强大的生命力。它成为后来同林彪在关于如何学习毛主席著作的争论中的罗荣桓的重要论点。一九七七年七月二十一日，邓小平在十届三中全会的讲话中指出：“我们可以看到，毛泽东同志在这一个时间，这一个条件，对某一个问题所讲的话是正确的，在另外一个时间，另外一个条件，对同样的问题讲的话也是正确的；但是在不同的时间、条件对同样的问题讲的话，有时分寸不同，着重点不同，甚至一些提法也不同。所以我们不能够只从个别词句来理解毛泽东思想，而必须从毛泽东思想的整个体系去获得正确的理解。”①〔《邓小平文选》（一九七五-一九八二），人民出版社一九八三年七月第一版，第三九-四○页〕
罗荣桓提出“一条线”的学习方法正是为了从具体历史条件的背景下把握毛泽东思想的精神实质。
要让学员学好党史，首先要求提高教员的党史水平。为此，他指派学院的领导干部和教员到朱德、董必武、林伯渠等老一辈无产阶级革命家那里聆听他们讲党史、讲军史，把他们的讲话速记下来，整理成资料。同时，他还亲自向教员们讲古田会议前后我军的历史，一共讲了三次。他讲最后一次时已经病重住院。教员们来到医院，医生只准讲半小时。时间一到，医生便前来劝阻。罗荣桓高兴地说：“我今天精神很好，可以再谈一会。”又过了半小时，听讲的教员们怕影响他的健康，劝他不要讲了。可是罗荣桓兴犹未尽，又讲了半小时。在医生和教员们再三请求下，他才停下来，还一再说：“以后再谈，以后再谈。”他的这三次谈话如今已成为进行党史军史教育和革命传统教育的宝贵资料。①〔参看一九八三年十二月一六日《解放军报》：《罗帅谈古田会议和我军政治工作》〕
解放军的现代化正规化建设，同中国社会主义建设一样，一开始便面临着没有经验的问题。五十年代初期，西方各国对新生的中华人民共和国采取敌视态度，只有社会主义的苏联同中国友好，向中国出售较为现代化的装备，愿意帮助中国。因此，中共中央号召“一定要把苏联先进经验学到手”。显然，这一号召也适用于军队。
学习苏军经验，对于解放军的现代化正规化建设有很大的作用。解放军从苏军学得了掌握较为现代化军事装备的军事技术和指挥、管理的知识。
为了学习苏军经验，从一九五○年开始，总政和总干都聘请了苏联顾问。
苏联顾问对解放军的政治工作建设和干部工作建设曾提出不少有益的建议。但是由于苏联军队和中国军队的发展历史、传统和特点有很大差别，苏军的政治工作和干部工作经验并不完全适用于中国军队，苏联顾问的意见也并不完全适合中国军队的实际。而他们中有的人又常常认为他们的意见是正确的，非按他们的意见做不可，这样，分歧和矛盾就不可避免了。
罗荣桓很注意处理好同苏联顾问的关系，十分尊重他们。但牵涉到工作中的是非问题，有时又非争不可。一九五○年秋天，罗荣桓、赖传珠、徐立清等便同驻总干部部的顾问在许多问题上发生了不同看法。
例如，关于干部的任免权限问题，苏联顾问要求实行更大的集中，即：团无任免权，师可任免排级，军任免连级，军区任免营到副团级，正团到副师级由总干部部长任免。各特种兵司令与总干部部长有同样任免权限。
罗荣桓认为，苏联顾问的意见可能是适合苏军情况的，但却并不切合中国军队的实际。中国军队干部大都是从下面生长起来的，总干部部尚不可能掌握全军的干部情况，因此任免不能过分集中。应以团任排级，师任连级，军任营级，军区任团级为宜。师以上干部仍应由军委主席任免。总干部部长则不必要有任免权。
罗荣桓等还认为，从人民军队任免干部的传统和当时实际状况看，大军区司令员大都是中央委员或政治局委员，级别要高于特种兵司令。因此特种兵司令的任免权限不应高于大军区，而应与大军区相当或再低一级。
罗荣桓等就上述问题向苏联顾问说明了中方的理由，希望他们注意中国的特点。但是那位顾问坚持己见。罗荣桓便于十月二十七日向毛泽东报告说：“以上不同意见，一时甚难说服顾问同志同意，请予批示。”这一报告引起毛泽东的重视。他收到报告后，立即转给周恩来，并批示：“同意你们的意见，请周考虑在适当时机与新来军事代表一谈。”
十月三十日，周恩来批示：“荣桓同志，请将此报告抄我一份，以便在适当时机提出。”
当时，在不少单位都发生过类似的同苏联顾问发生意见分歧的事。对此，罗荣桓认为，这也不能完全责怪苏联顾问。他们学的就是那一套，问题倒在我们自己。我们应当按照毛泽东历来倡导的实事求是的原则，学习苏联经验一定要结合中国的实际，万不可象十年内战时期犯“左”倾错误的同志那样，采取教条主义态度。他说：“不能认为人家一切东西都是好的。可能有些东西在他们那里是好的，在我们的条件下就不一定适合。我们今后不是在苏联领土上作战，苏联的某些东西硬搬来就不行。”他认为，“我们应当是以我为主，在我们自己原来的基础上，接受苏联先进经验。”因此，当下面反映这类同苏联顾问发生意见分歧的事情时，罗荣桓都能冷静对待，弄清情况，进行具体分析，而不要求一味听从顾问的意见。
当时，也有一些干部在学习外国经验时，存在着不加鉴别、不结合中国军队实际的问题。
一九五二年，解放军准备实行正规化的义务兵役制、军官薪金制和军衔制（简称三大制度）。有的干部认为，搞正规化建设，苏军有现成的条令、条例，我们拿过来，一切按条令、规章办事就可以了，不必再强调党的绝对领导。他们主张，可以按苏军的做法，取消政治委员，实行单一首长制。一九五三年初，在罗荣桓主持下，由总政起草的《政治工作条例》草稿发出征求意见时，有一位干部写信给总政治部，认为单一首长制是“不久的将来就要实现的原则和方向”，不应再强调加强政治委员制度与政治工作制度，因此他不同意条例草稿中关于“党对军队的领导是通过各级党的组织、政治委员与政治机关进行的”等提法，认为这样提法贬低了军事干部和军事机关的地位。
又如，在一九五三年五月颁布的以苏军条令为蓝本的中国人民解放军内务条令中就规定，只有营长、连长是营、连的首长，不承认政治教导员、政治指导员是首长。在坦克连队中，坦克里没有连指导员的位置。还有人主张把政治委员改为副职，或各级政治委员都兼任政治部（处）主任，只管具体业务工作。
罗荣桓不同意这些意见。一九五三年夏季，罗荣桓在北戴河疗养。主持军委日常工作的彭德怀来看望他，他向彭德怀提出了自己的看法，说：“现在有些同志认为政治工作制度过时了，政治委员作用不大了，要学习苏联，搞一长制。如果那样做，从井冈山时期就搞起来的政治工作传统不就丢掉了吗？”
彭德怀认真倾听了罗荣桓的肺腑之言。他感到罗荣桓讲得很有道理，从而更增强了在实行三大制度时，要坚持党对军队绝对领导、坚持党委制、坚持军队政治工作制度和发扬我军光荣传统的决心。
一九五三年十二月七日至一九五四年一月二十六日，由彭德怀主持召开了全国军事系统党的高级干部会议。会议讨论了彭德怀的报告和聂荣臻、肖华所作的副报告。
肖华的副报告题为《关于军队政治工作建设的几个问题》。这是由罗荣桓主持讨论定稿的。因为罗荣桓当时病重，由肖华代作报告。
报告指出：“我军越是向现代化正规化建设前进，装备加强了，兵种复杂了，分工精细了，技术提高了，就越要加强党委的统一的集体的领导。根据我军的经验和情况来看，如果把这种复杂的新工作新任务，完全委之于单个的首长，减弱了党的领导与保证，一定会手忙脚乱，漏洞百出。因此，党委制在我军中必须长期定下来。这是在新的历史时期，贯彻执行党的总路线和建设现代化革命军队的一个重大保证。”
会议经过认真充分的讨论，认识得到了统一，军队党的各级委员会必须坚持实行党委统一的集体领导下的首长分工负责制。会后，由于罗荣桓身体不好，中共中央决定由陈毅、罗瑞卿、谭政主持修改《中国人民解放军政治工作条例》。一九五四年四月十五日，经中共中央和中央军委批准，这一条例正式颁布实行。
《条例》总结了我军独有的丰富的建军经验，简明而系统地阐述了毛泽东提出的人民解放军一整套政治工作的方针和方法，对军队政治工作的性质、任务、职责、组织形式、工作作风以及与各方面的关系，都作了明确的规定。
《条例》中关于“政治工作是我军的生命线”一语，原先在送审稿中是有的，在审阅过程中一度被删。毛泽东审阅时，又亲笔将这句话加上了①〔见毛泽东修改的《中国人民解放军政治工作条例》（送审稿）〕。《中国人民解放军政治工作条例》的制定是中国人民解放军历史上的一件大事，标志着军队现代化正规化建设迈出了学习外来经验与实践相结合的新的一步，保证了军队的现代化正规化建设有了一个正确的道路和方向。
当然，《条例》的颁布也并不意味着万事大吉。部队在现代化正规化建设中机械搬用外来经验而忽视自身光荣传统的现象仍有发生。一九五五年至一九五六年间，罗荣桓抱病到部队视察，亲自了解了许多这方面的情况。
为了克服这一类忽视和削弱人民军队光荣传统的倾向，一九五五年八月一日，在即将实行军衔制的时候，他撰写了《继续发扬我军的光荣传统》一文，明确指出：“目前部队中，削弱我军光荣传统的现象是存在的，并且有某些滋长，这是一个极端危险的倾向。”
文章列举了一些把严格纪律、严格管理与说服教育对立起来，把军队正规化与必要的民主对立起来，以致损害官兵一致的现象；还有进驻营房后，不积极参加地方群众工作，损害军民一致的现象；以及铺张浪费、官僚主义、形式主义等与人民军队光荣传统和领导作风不相容的东西。
文章分析了产生这些削弱光荣传统现象的原因，指出：“我们有些同志对于我军过渡到高级阶段时，哪些是属于我军幼年时代的东西需要去掉它，哪些是属于我军建军原则和光荣传统的，需要继续发扬它，缺乏明确、清楚的分析和辨别。”
文章明确指出：“我军建军原则和光荣传统，是马克思列宁主义与中国革命实践相结合的产物，是经过我军几十年流血斗争所取得的宝贵经验，……是完全适合中国情况和我军特点的。”“我军装备的改变，若干制度的改变，进一步正规化的措施等等，都是不能违背也绝不应违背我军的建军原则的。”
一九五六年夏季，罗荣桓和邓小平、贺龙、聂荣臻、黄克诚等一道参观了几个特种兵举办的展览会。会后他在政治学院的一次讲话中深有感触地说：
最近举办了一些展览会，有好多新创造。象防空军的展览会就有二百八十多件合理化建议，绝大多数是班长、排长、士兵创造的。有些合理化建议还是很复杂的呀！我们的一些战士和干部原来文化程度并不高，为什么他们把现代的科学技术接受过来，并且还有所创造呢？就是因为我们有民主，有群众路线，其他什么理由也解释不通这个问题。
有的人说军队现代化了，就可以不要民主了。我们说，现代化没有民主也不行，没有民主，科学技术也学不好。学习首先要发挥大家的积极性，而且官也不是什么科学知识都知道，既要领导大家学，还要和大家一起学。不发动群众不行，没有民主不行！我们几个人看完了展览会得出了这个结论。①〔《罗帅谈古田会议和我军政治工作》，《解放军报》一九八三年十二月十六日〕
罗荣桓在这次谈话中还认为，在实行正规化制度时，应当把军事工作中的高度集中统一和严格的军事命令同政治工作中的发扬民主紧密结合起来。作为军事指挥干部，为保证部队步调一致，必须采用行政命令的手段，而作为政治工作干部，则应强调说服教育和发扬民主。他说：“军队中的军事工作是要用命令的形式，例如出操，军事工作干部就要发出立正、向右看齐的口令。为了保持战斗部队的高度集中统一，保证战斗行动的一致，指挥员、军事工作人员就要用这种形式。而政治工作却是在发扬民主的基础上，用群众路线的方法，用说服教育、提高觉悟、提高自觉性的方法，来达到同一目的。军事工作和政治工作是有区别的，又是统一的。军事指挥员下命令是适合军事工作需要的，却又有一定的局限性。政治工作是可以弥补军事工作的局限性的。有的政治指导员和连长争权力、争高低，说连长能下命令，政治干部为什么不能下命令？其实用说服教育的方法，使战士听了你的话，自觉地把你的话变成命令一样去执行，这多么宝贵呀！”①〔《罗帅谈古田会议和我军政治工作》，《解放军报》一九八三年十二月十六日〕
一九五四年，中国人民解放军准备实行军衔制。这在人民军队历史上是第一次，是军队干部制度的一项重大改革。
按照中共中央规定，授予元帅、大将军衔的人员名单由中央确定。
当罗荣桓得知中共中央准备提名授予他元帅军衔时，立即给党中央和毛泽东写信，说明自己参加革命较晚，对革命贡献不大，恳切地请求不要授给他这样高的军衔。
中央没有采纳他的意见。他和朱德、彭德怀等十位解放军高级将领因对创建和领导人民武装力量、领导战役兵团作战卓著功勋，在一九五五年九月二十三日，经全国人民代表大会第二十二次会议决定，被授予元帅军衔。命令公布之后，他没有将这看成是个人的荣誉。他对总政治部的一些干部说：“我是总政治部主任。给我授元帅衔，这主要是党中央和人民给予我们军队政治工作者的崇高荣誉。”
按干部任免权限，授予上将至少将军衔人员名单由总干部部和总政政治干部部分别提出，报请中央军委批准授予；授予校官军衔人员名单由各总部、各军兵种和各大军区提出，报总干部部和总政政治干部部在全军统一衡量。
由总干部部和总政政治干部部负责提出名单的少将至上将共有一千余人。他们绝大部分入伍于红军时代，也有少数人入伍于抗日战争时期，还有一些少数民族干部及起义将领。他们战争年代在不同地区作战，立下了战功，为革命事业和军队建设作出了贡献。新中国建立后，任职和级别有高有低，德才表现也有差异。在评定军衔时，对这一千多名部队骨干，如何能做到公平合理，基本上符合本人状况，从而进一步调动广大干部的积极性，增强党内和军内的团结，是一件意义重大而又十分复杂细致的工作。
面对这种情况，罗荣桓在评衔过程中始终不渝地坚持公道合理、实事求是，又照顾五湖四海的原则。对每人应授什么军衔，主要是根据现任职务，对军队建设的贡献、战功和现实德才表现，并适当考虑个人资历，同时又作全面衡量。罗荣桓要求干部部门按上述原则，首先选出各类人员的标杆，然后按每个人的具体情况反复进行衡量比较，最后提出评定军衔等级的意见。对于拟授予中将、上将的二三四人，罗荣桓亲自主持逐一研究讨论。有了问题随时向军委请示，然后由他亲自提出名单。少将这一级的评定，罗荣桓委托赖传珠、徐立清和肖华、王宗槐等负责，遇到难以确定的问题，再由罗荣桓主持会商解决。
评衔很重要的依据是干部当时的级别和职务。但由于干部各自的情况不同，不能完全按当时每人的职级机械套衔。因此按职级评衔存在很大的伸缩性。例如同为少将，有正师级的，有军级的，还有准兵团级的。对一些级高而评衔相对偏低的干部，罗荣桓亲自谈话，做好说服解释工作，说明原委，引导他们正确认识自己，照顾大局，以个人利益服从革命利益。
在军队高级干部中，有少数人资格较老，有重大战功，但历史上又屡犯错误。如何评定他们的军衔也是一个需慎重对待的问题。有一位曾参加过南昌起义的老干部，历任重要职务，但在处理个人生活问题上屡有失当，进城以后，又犯有不服从组织分配的错误。罗荣桓曾经亲自找他谈话，批评了他的严重错误，严肃地警告他，如果不改，就要给他以严厉处分。但在评定他的军衔时，罗荣桓全面地分析了这位干部的功过，还是主张授予他中将军衔。罗荣桓说：“这样才能服众，对他本人也是一个促进。如果过于严刻，就会产生不良影响。”授衔之后，这位干部本人深深感到了党对他的教育和关怀，大家也感到这样做比较实际。
经过一年多繁忙的工作，授予将级军衔人员的名单终于全部经军委审查批准了。一九五五年九月初，在罗荣桓主持下，军委召开了授衔工作总结会议。彭德怀、刘伯承、贺龙、陈毅、徐向前、聂荣臻、叶剑英等都出席了会议。在会上，罗荣桓宣读了少将以上人员名单，赖传珠作了授衔准备工作的总结报告。
一九五五年九月二十七日，罗荣桓出席了由中华人民共和国主席毛泽东授予元帅军衔和勋章的典礼。朱德、刘少奇、周恩来以及党和国家的其他领导人、各民主党派、各人民团体代表、北京市的代表、中国人民解放军驻京机关和部队军官、中国人民志愿军国庆观礼代表共一千三百余人出席了这一隆重典礼。朱德、彭德怀、林彪、刘伯承、贺龙、陈毅、罗荣桓、徐向前、聂荣臻、叶剑英十人被授予元帅军衔。授予元帅军衔礼成以后，彭真宣读了中华人民共和国主席授予中国人民解放军在中国人民革命战争时期有功人员勋章的命令，朱德等七十三人被授予一级八一勋章、一级独立自由勋章和一级解放勋章。罗荣桓也是其中之一。当日下午，国务院隆重举行了授予中国人民解放军将官军衔典礼，国务院秘书长习仲勋宣读了中华人民共和国国务院总理授予中国人民解放军将官军衔的命令，周恩来总理把授予大将、上将、中将、少将军衔的命令状分别颁发给粟裕等在京的将官。随后，各总部、各军兵种、各军区也分别举行了授衔、授勋仪式。在国庆节阅兵时，军队官兵都穿着佩戴军衔的新式制服，军容整齐壮观，面貌焕然一新。
新中国建立以后，罗荣桓非常重视党的纪律检查工作。总政治部一成立，他不仅让组织部分管此项工作，而且身体力行，亲自去抓。他十分注意广大干部、特别是高级干部的道德品质教育。他要求一切干部都要遵纪守法，接受党和群众的监督。
针对胜利以后少数高级干部腐化堕落，违法乱纪，不接受群众的批评和党的教育，无视党纪国法的情况，在中央的一次会议上，他建议要专门发指示，认真解决这个问题。根据他的意见，一九五四年八月八日，中央军委发出了《关于制止某些高级干部腐化堕落违法乱纪行为的指示》，点名批判了一些干部的严重错误，指出这些人违法乱纪，损害了党和军队的声誉和革命事业，必须严肃处理。对那些明知故犯屡教不改的人，不论其职位多高，必须给以纪律制裁。对那些包庇犯重大错误干部的组织和个人，也要进行必要的查究。《指示》强调要加强党对高级干部的领导与监督，开展党委内部和高级干部之间的批评与自我批评，驳斥了把个人腐化堕落说成是“生活小节”、不是政治原则问题的错误观点，要求克服自由主义，保证一切党的高级干部在各方面接受党的组织和群众的监督。
这一指示在全军引起了强烈的反响。师以上党委专门召开会议，进行讨论，开展批评和自我批评，揭发了一些人思想作风方面的问题。在全军对一百六十余名犯有道德品质错误的高、中级干部分别情况给予批评教育或党纪处分。有一位军长由于屡教不改，被撤销职务并开除党籍。这一指示使全军干部受到了一次深刻的教育，也挽救了许多犯有错误的干部。
一九五五年三月，中国共产党全国代表会议鉴于高岗、饶漱石反党联盟事件的教训，决定将中央和地方党的纪律检查委员会相应地改为中央和地方党的监察委员会。一九五五年九月，根据中共中央决定，中国人民解放军党的监察委员会组成，由罗荣桓任书记，谭政和宋任穷任副书记。
罗荣桓任监委书记直到他逝世①〔一九五七年二月至一九六一年初，由谭政任解放军党的监察委员会书记。一九六一年初，罗荣桓再次任书记〕。他经常主持召开监察委员会会议，研究中共七届二中全会精神的贯彻，对军队党员、干部，特别是高级干部遵纪守法的检查、监督和教育，讨论和处理重大案件。他要求对犯错误的干部既要热情帮助挽救，又要坚持原则，严格纪律。既不能单靠处分去解决问题，又不能姑息迁就，不要纪律。对于各级党委和监委，他认为首先要强调坚持原则。
六十年代，由于有些单位党委对个别高级干部违法乱纪的案件不敢处理，导致矛盾激化，发生政治事故。有一个师长因奸污部属的妻子被部属打死。
针对这一问题，一九六二年十一月十七日，罗荣桓在全军组织部长会议上指出，道德品质问题要引起注意。此人被打死主要是道德品质问题引起的，有些道德品质问题不注意，就会发展成刑事问题，也会被反革命利用。他说：“现在有些党委在对待腐化堕落蜕化变质这方面问题的处理缺乏严肃的原则空气，有的则是毫无原则。对于团以下干部的问题还敢管，对于某些高级干部的问题则不敢管，个别的甚至包起来，谁也不讲。”他十分愤慨地说：“边境的部队在前线流血牺牲，他们却在后方搞腐化堕落这一套，怎么行！”
他认为，对待这种问题“不能大事化小，小事化了。要化，看你怎样化法。经过批评斗争，改正了错误，就能够把大事化小。化要经过工作去化，要有原则。根本不讲，根本不批评，采取包起来的办法是化不了的，其结果是小事酿成大事，最后甚至是不可收拾。”
同时，他又认为对犯错误的人处理要慎重。就在上面那一段话后面，他紧接着又说：“当然，处理要注意方式，要实事求是。”
他认为严肃党纪之“严肃”，就是实事求是，不仅仅指坚持原则，它也包含慎重的意思。他一九六一年六月二十二日在解放军党的监察委员会第三届第一次全体会议上说：党的纪律是严肃的，不要拿一点错误否定一个人的一切。对于犯了错误的人，要感化，有时也要给处分，但不宜过重，更不要轻易给予留党察看、开除党籍处分。
他认为，对犯错误者，处分本身固然也是一种教育，但是更要热情帮助，不能推出门不管。上面提到的那位被开除党籍的军长，总政将他分配到一个单位工作。这个单位的领导人不想要，罗荣桓对他们说：“不要不行，你们可以教育他，改造他。人是可以改造好的。”后来这位干部在工作中改正了自己的错误。