在总参谋部工作，尤其是抗美援朝期间，聂荣臻渡过了一生中的繁忙时期。
为了赢得抗美援朝战争的胜利，在那些日子里，聂荣臻每个星期总有三四个晚上通宵达旦地工作。有时在毛泽东那里一谈就是一晚上，直到东方发白；有时夜里去周恩来办公室研究问题，也常常是一整夜。而聂荣臻没有白天睡觉的条件。他早上8点一到办公室，等着解决各种问题的干部早已坐满了。那个时候尽管很忙很累，可聂荣臻却以对党对人民高度负责的精神顽强地坚持工作。
抗美援朝初期，聂荣臻碰到星期天无急事要办，总是闭门谢客，从吃完早饭一直睡到下午四五点钟。醒来后轻松地对秘书说：“这一觉又够顶一个星期了。”
没过多久，由于考虑到工作的繁重、紧张，聂荣臻提议军委和总参机关取消了星期天的公休日，唯一的补觉时间也没有了，长时间的超负荷运转使聂荣臻病倒了。
1952年秋天，聂荣臻与不久前回国主持军委日常工作的彭德怀一同视察京郊的国防工程后，吃过午饭回到办公室，还没坐下就摔倒了。幸亏他一把抓住沙发扶手，缓冲了一下，才慢慢地躺在地上。秘书范济生赶快把他搀到床上躺下。但聂荣臻没有把这当回事。下午，他继续处理公文，可是，总感到身体轻飘飘的，怎么也站不稳。即使这样，他还是硬坚持到下班，才请来中央卫生部负责保健工作的傅连暲副部长。傅连暲为聂荣臻进行了认真的检查，确诊为脑平衡神经失调、高血压、心脏玻傅连暲要聂荣臻立即住院治疗。聂荣臻执意不肯，仍想继续坚持工作。最后，在傅连障的再三坚持下，才达成了聂荣臻在家中绝对卧床治疗的方案。
聂荣臻病倒了。妻子张瑞华此时正在莫斯科养病，女儿聂力住校，每星期只回家一次。家中只有跟随他多年的秘书范济生和一名女护士。范济生从1945年起，就一直在聂荣臻身边工作，他熟知聂荣臻的个性和人品。在这之前，范济生就曾多次提醒过聂荣臻，要注意身体，注意休息，但事情终于发生了。这回，他严格按照医嘱，要求聂荣臻绝对卧床，以免再出意外。
一天，傅连障给聂荣臻看过病后，悄悄地对范济生说：“你看，聂总的身体还需要较长时间的卧床休息，这样长时间地躺在硬板床上可不行。”傅连暲用商量的口吻接着说：“能不能想办法给聂总换个软床？”“换软床？！”
范济生心里有些犯愁。说实在的，在那个年代，领导人睡的几乎都是硬板床，到哪里去换且不说，连软床是个什么样，范济生心里也没底。不过，他理解傅连暲的好意，认为他讲得有道理。于是，范济生向傅连暲保证，一定要想办法给聂荣臻弄个软床来。
范济生一连跑了几个家具店，都没有弄到软床。最后，还是在崇文门内路东一个专门经营使馆家具的店里，买到了一张旧的席梦思床。从这以后，聂荣臻才改变了自己几十年来睡硬板床的习惯。
那些日子，聂荣臻躺在床上，每天都要阅读大量文电、资料，不时接待来访或请示、汇报工作的人员。因为他实在放心不下他的工作。
一个月后，聂荣臻自感病情有所减轻，便不顾医生的劝阻，又回到办公室继续工作了。
1952年10月，朱德、彭德怀、聂荣臻等人一起，就加强军委机关建设，提高机关工作效率，建立军委例会制度，进行了反复研究，最后，决定将原来不定期的办公会议改为每周召开一次的军委例会，并于15日召开了第一次例会。粟裕、黄克诚、张宗逊及总政治部、总干部管理部、总后勤部、军委军训部、军委办公厅的有关负责人参加了会议，会后，聂荣臻又主持了总参各部部长参加的会议，要求各部建立健全例会办公制度，以便互相通气，协调一致，及时解决问题。聂荣臻历来对机关干部要求非常严格。11月1日，在由总参各部领导人及各特种兵领导人参加的联席会议上，他提出各部门要经常与苏联顾问开座谈会，征东他们的意见，以改进工作。他告诫有关部门的领导人，既不能不听顾问们的意见，又不要完全依赖于苏联顾问。他还要求各军兵种的领导干部都要抓紧时间积极钻研技术，学习和掌握与本部门有关的业务知识。
12月的北京，北风呼呼，寒气逼人。聂荣臻支撑着虚弱的身体坚持工作整整两个月了。那时，每当下班回到住地，细心的范济生总要用手摸摸暖气，试试热度，如果发现暖气不热，他就跑到锅炉房去告诉烧锅炉的师傅，说聂老总回来了，请把火加大一些。工作人员都知道，在寒冷的冬天，保暖对于心脏病人来说尤为重要。这年冬天，聂荣臻依旧是在紧张和繁忙中渡过的。
1953年2月17日，中央军委决定成立全军军衔实施委员会，指定聂荣臻任主任，参与领导草拟《中国人民解放军军官服役条例》。制定军官服役条例及实行军衔制，这在中国人民解放军的历史上还是第一次。它的涉及面很广，问题又非常具体，是一项复杂而细致的工作。聂荣臻为此倾注了大量的心血。
聂荣臻终于累倒了。
这年3月初，正当春回大地万物复苏之际，毛泽东指示聂荣臻暂时停下手中的工作，到杭州去疗养一段时间。聂荣臻理解毛泽东对他的关心和爱护，这才将手头的工作交待给黄克诚，作了他有生以来时间最长的一次休息。
陪同聂荣臻到杭州去疗养的有两个人。一个是原军委办公厅副主任唐永健，一个是傅连暲选派来的医生赵夷年。当时，唐永健正在等待上级任命新的工作职务，恰好有这么一段空闲时间。出于多方面的考虑，组织上指派他陪同聂荣臻前往杭州。唐永健瘦高个儿，人很精干， 1936年毕业于清华大学西洋文学系，不久，便投身革命。1940年，他在晋察冀军区任作战科科长。
由于文化程度高，知识面广，又懂外语，聂荣臻一遇到问题，尤其是作战方面的，总爱找唐永健商谈。聂荣臻常称赞唐永健文笔简练，起草的文电意图明确、用字精当，文电发下去后不会引起下面机关和部队的误解。这次让他陪同到杭州，是再合适不过的了。
3月4日，聂荣臻与随同人员乘火车离开北京。6日，列车快要抵达南京浦口站时，聂荣臻透过车窗，突然瞥见一些机关的屋顶上降了半旗。他意识到是斯大林逝世了。在出发前，聂荣臻就知道有关斯大林病情恶化的消息。
但是50年代初期，中国的通讯设备还很落后，在列车上无法听到外面的消息，也不可能去证实这一事实。现在事实得到证实，聂荣臻的心情格外沉痛。
列车徐徐开进了浦口站。
站台上，刘伯承和几个工作人员正在那里迎候。聂荣臻刚刚迈下列车，一眼就看见刘伯承左臂上戴着的黑纱。刘伯承向他讲述了斯大林逝世的消息。说话间，刘伯承身后一位工作人员将早已准备好的黑纱，戴在了聂荣臻的左臂上。随后，一行人乘汽车来到岸边轮渡口，渡过江到了南京城。
淮海战役结束后不久，刘伯承一度担任过南京市市委书记兼市长。他对这座名城很熟悉。为了让聂荣臻能有一个良好的休息环境，他特意将聂荣臻安排在城北一个招待所里，这个招待所原是加拿大驻中国的使馆，各方面的条件都很方便。
3月的南京城，气候宜人。清新湿润的空气，使聂荣臻那操劳过度的身心稍稍得到了松弛。在南京，刘伯承等人专门陪同聂荣臻来到雨花台烈士陵园扫墓。
一个星期后，聂荣臻到了无锡，住在一幢西式结构的别墅里。这幢别墅属于曾被周恩来称之为“中国民族资本家”的“少壮派”荣毅仁的伯父。因荣家的人大部都住在原来的老院子里，别墅是空闲着的，里面家具及其摆设都完好无缺，井井有条。那时，党和国家还来不及在各地修建疗养院、招待所，组织上征得荣家人的同意，将这座别墅作为临时接待高级领导人的住所了。聂荣臻特意到离别墅不远处荣家人居住的老式大院里，参观了荣家最初起家时磨面用的石磨盘。
在这座半岛式的别墅里，聂荣臻感受到了一种特有的宁静和快慰。每天晚饭后，他可以轻松地漫步在太湖边，尽情地观赏着这里的佳景，倾听太湖水拍打石岸发出的阵阵涛声。刘伯承和夫人汪荣华等，还陪同聂荣臻一起来到了位于无锡市南端的鼋头渚。鼋头渚是因形如突入湖中的鼋头而得名，座落在三面环水的半岛上。由于依山傍水，别具一格，被人们视为观赏太湖的佳地。在鼋头上立有一块一人多高的青灰色巨石，石的正面刻有秦敦世所写的“鼋头渚”3个大字；石的背面刻的是清末唐陀的手笔“鼋渚春涛”。聂荣臻非常欣赏“鼋渚春涛”这四个字，于是，唐永健用借来的德国莱卡照相机为聂荣臻及其他人在石刻前摄影留念。在无锡停留了10天后，聂荣臻与刘伯承一行又到了上海。当聂荣臻看到上海已不再是几年前那个浑浊不堪的“世界污水沟”，处处显露出勃勃生机时，对陈毅治理有方表示了极大的钦佩。陈毅专门安排聂荣臻住在原美国石油公司驻上海总办事处的一座小洋楼里。这里条件舒适，环境幽雅，为聂荣臻身体的康复提供了许多便利。陈毅还和夫人张茜邀请聂荣臻到家中吃饭，叙谈。在这期间，副总参谋长粟裕、市委副书记刘晓等人，也都来看望聂荣臻。
3月底，聂荣臻离开上海，乘火车到了杭州。尽管这段时间聂荣臻的情绪比较稳定，心情也很好，但是严重的失眠仍使他要靠药物的作用才能入睡。
到杭州没几天，聂荣臻的血压突然升高，眼睛也充血红肿起来。唐永健立即打电话将这一情况报告给了陈毅。陈毅接到电话后对唐永健说，等忙过了这几天，就到杭州去看望聂荣臻。陈毅还特地向杭州卫生部门的有关负责人作了交代，要他们照顾好聂荣臻。浙江省委书记谭启龙得知这一情况，也从外地赶回杭州。由于治疗及时，病情很快得到了控制。几天后，聂荣臻的眼睛开始恢复正常，血压也稳定了。陈毅来到杭州与聂荣臻相见，俩人又是一翻推心置腹的交谈。陈毅见聂荣臻的病情已经好转，气色不错，便约聂荣臻一起到西湖苏堤、白堤、玉泉、玉皇顶等著名风景区游览。他俩还一同拄着拐杖兴致勃勃地登上了避暑胜地莫干山。离开杭州之前，在陈毅的提议下，粟裕、谭启龙、李运昌、李伯钊及刘晓夫妇、吴芝圃夫妇等20多人和聂荣臻一起乘汽车来到了天目山一个叫老田的地方。这里生长着不少柳杉树，而这些柳杉树树龄在1000年以上的就有百十来棵。其中最粗的一棵树被清朝乾隆皇帝誉为“大树王”。这棵树需6人才能合抱过来。在这里，那一层层碧绿的茶园，一蓬蓬翠绿的修竹，一汩汩清亮的泉水，更显现出江南秀美的湖光山色，令人心旷神怡。聂荣臻、陈毅等人，高兴地拥在一棵千年古杉树下拍照留念经过一段时间的疗养，聂荣臻的身体和精神得到了一些恢复。4月26日，他回到了北京。
7月27日，朝鲜停战协定在板门店正式签字。至此，历时两年零9个月的抗美援朝战争胜利结束。7月，聂荣臻又与朱德一同到北戴河海滨疗养了一段时间，于9月初返回北京。
疗养期间，聂荣臻一直在思考着兵役法和军官眼役条例的起草方案。这两个法规草案最早是由苏联军事顾问帮助制订的。当时因为忙于抗美援朝，没有顾得过来，拖延了一段时间，待朝鲜战争的形势有所稳定后，才发现苏联顾问起草的草案有许多地方与中国军队的情况不大相符。聂荣臻参与这项工作后，对此曾做了多方面的调查研究。最后，决定由唐永健协助他完成草案的起草工作。
11月，在连续参加了几次会议后，聂荣臻又召集各总部、各军兵种负责人，一起研究关于组织编制问题的报告提纲。在12月7日至1954年1月26日的全国军事系统党的高级干部会议上，聂荣臻参与了关于中国人民解放军实行军衔制、薪金制、义务兵役制等重大问题的决策，并在会上做了《关于组织编制问题的总结》报告。以后，又出席了中共七届四中全会、几次总参联席会议。不料，3月份聂荣臻的病情出现了反复，实在难以坚持，不得不又停止了工作，到外地疗养。
1954年6月上旬，聂荣臻从外地赶回北京，出席了中央人民政府委员会召开的第三十次会议。19日，又出席了第三十二次会议。在这次会议上，聂荣臻被任命为中央人民政府人民革命军事委员会副主席。9月15日至28日，聂荣臻在全国人大第一届一次会议上，当选为人大常委会委员，又被任命为国防委员会副主席。在人大会议上，聂荣臻将兵役法草案、军官服役条例提交大会讨论。为了更好地、全面地听取各方面的意见，聂荣臻到会参加了小组讨论，并就大家提出的有关问题作了必要的说明。会议结束后，他根据各方的意见，对草案和条例作了补充修改。1955年2月7日，聂荣臻在一届人大常委第五次会议上作了《关于中华人民共和国兵役法草案》的说明，经常委会讨论修改后，兵役法草案及军官服役条例于2月15日向全国公布。
1954年11月9日，聂荣臻被免去了代理总参谋长的职务，粟裕任总参谋长。此后，聂荣臻便集中精力，领导军队的军工生产和武器装备等工作。