1954年10月，在中央军委第五次会议上，邓小平到会传达中共中央书记处关于军委领导人的分工问题，确定聂荣臻负责军工生产方面的工作。邓小平接着宣布：分管某项工作的军委负责人，在有关范围内，可以找任何人谈话或开会，需要什么资料或了解情况，各部门都必须提供。
1954年11月，军委决定成立总军械部。彭德怀在军委第十次会议上说：因为总军械部与总参装备计划部、国务院第二机械工业部（军事工业部）联系很多，所以分工聂荣臻统一领导和联系这几个部门的工作。进一步明确了聂荣臻不仅分工主管军工生产，而且也主管军队武器装备方面的工作。
1956年6月，聂荣臻担任国务院军工产品定型委员会主任。
彭德怀从1952年由朝鲜回国后，7月起主持军委工作。聂荣臻很尊重彭德怀，经常向他汇报请示，彭德怀也总是热情支持聂荣臻的工作。1956年黄克诚调任总参谋长以前，彭德怀有事，大多指定聂荣臻主持军委会议。在主管军工生产和军队武器装备工作中，聂荣臻也得到彭德怀的有力支持，这方面的重要报告，往往是他们两人合署上送的。聂荣臻受命领导军工生产和军队武器装备工作，不是偶然的。他任代理总参谋长期间，就在这方面进行了许多卓有成效的工作。抗美援朝战争中，为了保障志愿军作战的需要， 1951年1月成立了军委兵工委员会，周恩来兼主任，聂荣臻、李富春任副主任。
聂荣臻在繁忙的工作中，对兵工生产做了大量的规划和协调工作。同年4月，在侵朝美军对中国东北地区日益猖狂的挑衅情况下，为了加强中国航空工业的建设，政务院和人民革命军事委员会决定成立航空工业管理委员会，聂荣臻任主任、李富春任副主任。1952年，中共中央决定，从1953年起，实施国民经济建设的第一个五年计划，要求军事工业方面，也有相应的计划。为此。聂荣臻组织各军兵种领导人讨论了原有兵工企业的调整方案，作出了《关于兵工建设问题的决定》。1952年8月，这个方案经毛泽东、周恩来批准后开始实施。
1952年，聂荣臻还指示总参谋部结合第二次世界大战中各国武器装备和弹药消耗情况，以及志愿军在抗美援朝战争中的武器弹药消耗情况，拟定了中国在未来反侵略战争中，对武器装备和弹药的基本数量需求指标。根据总参谋部提供的数据，聂荣臻与当时的军委军械部长陈锡联等人研究了5年兵工建设的基本要求。这个要求，把人民解放军的需要与国家具备的经济和技术条件结合起来，使有限的财力物力用在解决军队最紧迫的问题上。此后，聂荣臻主持了清理后勤库存军械问题的会议。他在会上提出，对库存军械：还可以用的保存；能修理的抓紧修理，该报毁的决心报毁；有些没有弹药的枪炮，有陈列和研究价值的用作陈列和研究，否则报毁；没有炮的炮弹把弹药倒出来利用。这些工作，要求4个月内完成。这样，到1953年上半年，军械库的库存得到了一次比较彻底的清理。
1952年11月，聂荣臻以总参谋部的名义，上报了1953年至1957年全军所需陆军武器装备及储备武器弹药的计划。12月，由彭德怀主持，聂荣臻、陈锡联、赵尔陆等人参加，开会审议了这个计划。会议根据当时朝鲜战争的形势和国内经济能力，以及兵工生产能力，适当压缩了轻武器及弹药的生产数量，计划原则通过，交兵工部门组织生产。
长期的革命战争实践，使聂荣臻高度重视改善军队武器装备的问题。用他的话来说：“这是在为我们人民军队做‘为虎添翼’的工作。”因此，接受任务以后，他就以饱满的热情，在健康还没有完全恢复的情况下，立即投入紧张的工作。
1954年11月，聂荣臻两次主持会议，研究空军的武器装备问题。出席会议的有财政部长薄一波、二机部部长赵尔陆、总参装备计划部部长万毅、军械部部长陈锡联、空军副司令员王秉璋等。当时，中国空军已经装备了许多米格-15型歼击机，一批米格—17型飞机已运抵中国，正准备装备空军部队，国防工业“一五”计划中关于生产飞机的部分，也正在顺利进行，大家很受鼓舞。在会上，有人提出将歼击机发动机试制的完成时间，由原定的1957年4季度提前15个月，到1956年秋季完成；活塞式教练机和歼击机的仿制生产，由原定的1956年9月提前到1955年9月完成；并且要求将米格-15型歼击机改为米格-17型歼击机，建立仿制技术基矗聂荣臻在会上肯定了大家要求搞得快点的愿望，但同时提出，要注意掌握基本技术。飞机的仿制，由米格-15改为米格-17，以后不作变动为好。后来，军委决定争取到1957年能仿制生产出20架米格—17歼击机，并且在6年内，要争取每年能大批量仿制生产这种飞机。聂荣臻觉得要贯彻这个计划，必须增建新的飞机工厂。
因此， 1955年4月，他与彭德怀联名向中共中央报告，要求筹建第二歼击机制造厂和喷气式轻型轰炸机制造厂，同时建造与这两个工厂配套的发动机和航空附件等工厂。
这个报告很快获得批准，航空工业加快了建设速度。1956年8月，米格-17飞机仿制成功，聂荣臻很高兴，赴沈阳检查仿制和试飞情况，以后又主持会议，批准定型，投入批量生产。在苏联的援助下，中国的航空工业到1958年建成了13个大型企业，其中包括两个飞机制造厂、两个航空发动机制造厂，以及与飞机制造厂配套的航空附件、仪表、电器等工厂。到1959年，已经从飞机修理发展到能成批生产活塞式教练机、运输机和喷气式歼击机，并且开始了歼六式喷气飞机的试制工作。
1955年1月，聂荣臻又召集会议，研究海军5年造船计划问题。出席会议的有第一机械工业部部长黄敬、海军副司令员苏振华、罗舜初、装备计划部部长万毅等人。会议分析了海军装备和造船工业的现状。当时共有各型舰艇近600艘，吨位为7万多吨，但大多比较陈旧落后。聂荣臻在会上提出，着重对武汉、上海、安徽、广东的4个造船厂进行技术改造，使之能仿制生产鱼雷快艇、猎潜艇、潜艇、护航驱逐舰等。后来这个方案形成计划上报，也获得中央批准。1955年，中国建成了第一艘木质鱼雷快艇。1957年，建成了1000吨级中型常规鱼雷潜艇。与此同时，第一艘猎潜艇也装配制造完成。
聂荣臻在向中央的报告中还提出，海军装备当时的弱项是鱼雷、舰炮、舰用雷达、声纳等，有些需要向苏联索取资料，再设厂解决，有的还有待研究，自行建厂，研制解决。到1960年前后，中国的造船工业相继成立了船舶科学研究所、船舶产品设计院等科研设计机构，建成了舰船、动力、水中兵器、导航仪表等13个大型企业，自行设计建造了反潜护卫舰和港湾扫雷艇等，为日后中国的舰船工业发展打下了基矗陆军武器装备的发展，是聂荣臻关心的重点。对这方面的问题，他充满了紧迫感， 1952年11月就曾对苏联顾问说过：朝鲜战争的经验证明，只要武器弹药特别是炮弹的供应充分，我们就能够打下敌人的第一线阵地，敌方要进攻我们，就要付出很大的代价。1954年到1956年，他多次召开会议研究解决陆军武器装备方面的问题。
1955年4月至6月，他深入到重庆、成都、昆明的8个兵工厂调查研究。
聂荣臻在视察中，要求各兵工厂做到：要在保证质量的基础上求数量；搞好文明生产，严格执行各项规章制度和生产秩序；搞好协作，尽量降低成本；对各种原材料，特别是稀有金属，要加强管理，调剂余缺，用料要精打细算；加强工艺研究，发挥技术工人的作用；驻厂军代表要与工厂领导搞好团结，协商办事；加强保密、保卫工作，安全生产，特别是弹药厂，要严防事故。
西南之行回到北京以后，聂荣臻立即召开兵工生产会议。在会上，他结合调查中获得的第一手材料，要求当前兵工生产应狠抓质量和成本，要重视各种原材料的代用研究。他指出，当前各兵工厂的木材利用率只有20％左右，子弹试射量太多，浪费太大，要切实地研究节约办法。
在军械仓库建设、常规武器试验靶场建设、地面武器的生产和储备问题、各种枪炮统一口径、大口径地面火炮及其弹药的生产问题等方面，聂荣臻都曾召开专门会议，研究解决办法。
1955年4月，彭德怀、聂荣臻在联名写给中共中央的报告中，对陆军武器装备的情况作了详细汇报：到1954年底，兵工企业投入批量生产的有手枪、冲锋枪、步枪、马枪、轻机枪、重机枪。坦克用机枪、口径为12J毫米的高射机枪、82毫米迫击炮、76.2毫米野战炮、122毫米榴弹炮等共11种。正在试制和即将进行试制的有120毫米迫击炮、37毫米高射炮、57毫米反坦克炮、85毫米野战炮、152毫米榴弹炮。由苏联供给技术资料，从1955年下半年开始试制的有新式冲锋枪、班用轻机枪、半自动马枪、40火箭筒、14.5毫米双联和4联装高射机枪、160毫米迫击炮等。坦克工业1957年能生产特54型坦克。生产能力，到1957年轻武器方面基本可以满足现役部队和储备100个师的需要。
报告提出，陆军武器装备薄弱的是大口径炮和弹药的生产，以及军用牵引和运输车辆的生产，建议建设或改建相应的工厂，予以解决。
这个报告经过中共中央批准，成为陆军武器装备生产研制的行动准则，大大加快了当时兵工生产的步伐。到1959年，兵器工业已经有53个直属大中型企业，不仅能生产各种制式轻武器和弹药，而且能生产大口径地面火炮和高炮、中型坦克、牵引车等重型武器装备。
1956年春，聂荣臻主要精力转到主管国防尖端武器研制方面以后，仍然时刻关心着军工生产工作。同年6月下旬，聂荣臻召集有关人员开会，研究军工生产问题。他在会上说：军工部门的生产以军为主，军品、民品结合；民用生产部门以民为主，也要生产部分军品，并为战时能迅速转入军品生产为主作好准备。这个意见获得与会人员的一致赞同。同年6月29日，他在讨论第二个五年计划内有关国防工业生产问题的军委会议上，重申了以上意见，获得会议同意。
1959年9月，新的中央军委成立。11月7日，聂荣臻在第四次军委常委会议上提出，为了加强军工生产的领导，建议成立国防工业委员会，为会议采纳。上报后， 1960年1月5日，中共中央批准了这个建议，任命贺龙为国防工业委员会主任。