作为共和国的元帅、无产阶级军事家、中国人民解放军的缔造者和领导人之一，聂荣臻在新的历史时期最关心的仍然是人民军队的建设。
粉碎了“四人帮”反革命集团，军队的建设也得以拨乱反正，叶剑英重新主持军委工作。1976年11月11日，聂荣臻参加了“四人帮”覆灭后的第一次军委常委会。1977年8月，中共第十一次全国代表大会结束后， 25日，中共中央通知成立中国共产党第十一届中央委员会军事委员会，聂荣臻任军委副主席。从此，他又重新积极参与军委的领导工作。
聂荣臻认为，新时期的军队建设及战略问题仍然是首要问题。因此，他反复强调，在现代战争条件下，要坚定不移地继续贯彻人民战争的战略思想和积极防御的战略方针。
1978年，他在全国民兵工作会议上，阐述了人民战争在新的历史条件下如何运用的问题。他指出：“在未来反侵略战争中，我们的主要作战对象是帝国主义??它们不仅拥有大量的先进的常规武器，而且还拥有大量核武器。帝国主义侵略我国，将利用其装备优势，在空军、海军、空降兵配合下，使用大量坦克机械化部队，实行高速度大纵深的进攻，企图达到速战速决的目的。我们要战胜这样高度现代化装备的敌人，最根本的办法，还是要靠人民战争。”“人民战争思想，是毛主席军事思想的核心，是放之四海而皆准的真理。不论武器如何发展，都改变不了人民战争的规律，改变不了‘兵民是胜利之本’的根本原理??就是我们的武器装备高度发展了，我们还是要坚持毛主席人民战争的战略思想，打人民战争。”实行野战军、地方军和民兵三结合的武装力量体制，是进行人民战争的最好方式，可以“创造出制服具有现代化装备的敌人的办法，弥补我们武器装备的不足，变敌人的长处为短处，变我军的劣势为优势??人民战争是我们的根本优势，是我们克敌制胜的法宝，过去靠它，现在靠它，将来还是靠它”。①1980年9月，聂荣臻在听取总参谋长杨得志汇报全军高级干部战略问题研究班对国防战略讨论情况时，再次强调指出：“我们的战略方针，总的还是毛主席说的打人民战争。人民战争在各个不同阶段的内容也是不同的。”
针对会议讨论中，就积极防御的战略方针如何具体理解产生了不同意见的情况，聂荣臻说：“我同意对积极防御战略方针的解释，战略上是防御的，战役战术上是进攻的。这是毛主席说的，现在还是这样。战略方针和战略方针具体化的问题，都是军队的头等大事??应该在充分调查研究的基础上，有明确统一的说法，报中央、军委审查批准后，大家都照此执行。采取措施，坚守某些战略要点是必要的，以争取时间。同时注意把民兵组织落实好，打起仗来配合正规军作战。敌人来了，他们不要往后退，而是往两边散；敌人过去了，就又集中拢来，破坏它的后勤供应线。现代战争，对后勤供应依赖更大，敌人就怕这个。只要我们顶住帝国主义的头几个攻势，以后就好办了。
所以对人民战争这个重要方面，民兵游击队的重大作用，不要忽视。”
1985年3月，他在审查《中国大百科全书》军事卷关于人民成争的条目释文时说：科学技术的高度发展，导弹核武器的出现，战争将在更加广阔的①《聂荣臻军事文逊，解放军出版社1992年7月第1版，第541页。
空间，空前紧张、残酷和激烈的条件下进行。我们打人民战争，应该发动人民利用各种手段打击敌人。仍然应该实行野战军、地方军与民兵游击队相结合的武装力量体制。民兵游击队应在陆、海战场上以新的水平发挥更大的作用。要重视以保卫战略要点和主要城市为目的的阵地防御战，同时应重视能大量歼灭敌人的运动战。应组织全国规模的对军队后勤的支援。
聂荣臻的这些重要论述，把现代条件下如何进行人民战争具体化了。也就是“着眼其特点，着眼其发展，才能在现代条件下，继续取得人民战争的胜利”的论点。
在新的历史时期，中央军委决定走精兵强国之路，加强经济建设，主要着眼于提高综合国力。聂荣臻也是这一方针的倡导人1979年6月，总参谋长助理刘华清向他汇报：有人反映现在军队数量过于庞大，对改善装备很不利。聂荣臻说：现在关键是各级领导机关太庞大，战斗连队不充实，要下决心精简机关，充实连队，这样军队总人数就容易控制，可以省出钱来搞装备。1980年3月的军委常委扩大会议，在讨论军队精简整编问题期间，聂荣臻对压缩军队定额，精简机关等提出了许多重要意见。他说：我同意直属军委的炮兵、装甲兵、工程兵部队下放给野战军，这是对的。只有平时做好野战部队的合成训练，战时才能充分发挥作用。至于这几个兵种的领导机构，要先定任务定编制，再交总参谋部管。4月，他在一份军委传阅的文件上批示：这次精简整编必须按邓副主席的设想方案，加速进行，不能再动摇拖延了。稍后，他又强调说：现在我们是各军兵种联合作战，要有合成作战思想。
这在平时就要解决，也就是陆军的炮兵、装甲兵、工程兵有些要编到步兵军或师里去。平时编在一起，练在一起，战时才能统一指挥，否则，不会指挥，也不会使用。精简整编是一个问题的两个方面。一方面是各单位任务要明确，组织要更合理，编制要精干；另一方面必须提高工作效率，改进工作方法。
现在各大单位机构臃肿得这么厉害，不解决怎么行？！这次精简整编，一定要按照小平同志在军委常委扩大会议上的讲话精神办，高级领导机关要尽量消肿。各单位在定编之后，要立即将编余人员列为编外，然后再逐步处理，就是要快，不能拖拖拉拉。
1985年5月，中央军委主席邓小平在军委扩大会议上宣布，中国政府决定，中国人民解放军裁军百万。这是又一次精简整编军队的重大措施。
在这之前的酝酿过程中，聂荣臻提出了许多重要意见。他认为在80年代或更长一点的时间内，针对中国的大仗、中仗都打不起来，因此应该抓紧时机，大量裁减军队，并物色优秀的年轻干部，接好各级领导的班。他还提出：军队的三总部领导体制以不变为好，只提精简人数的要求，三总部下属机构能否撤销或合并，应认真研究后决定。武器装备从研制、生产、装备部队到淘汰，还是应该由有关部门分工负责，这项工作太复杂，成立一个大一统的组织难以管好。陆军在三军中应占最大比重，军队打仗历来靠陆军，今后仍然如此。战时战略区内的三军必须统一指挥，为此，平时在组织上，海军舰队和空军作战部队，应由海、空军领导机关和所在的大军区实施双重领导。
后勤供应的通用物资应该实行三军统一供应。合成军队的规模小些好，灵活机动，究竟多大规模，应该论证确定。他还第一个提出了成立国防大学的意见。他说：随着军队的精简，高级干部相应减少，应该把培养高级干部的院校集中起来，成立国防大学。
他的这些意见，在讨论过程中受到与会者的普遍重视，军委其他领导人也都给予了充分肯定。
在新时期，武器装备要逐步现代化，缩小与世界先进水平的差距，是军队建设的又一个重大课题。聂荣臻过去长期主管这方面的工作，所以给予了更大的关注。他的基本思想是继续强调自力更生，加强科学研究，严格要求，加强协作，齐装配套，重视盲目性。
1977年2月，他在研究国防科研任务的军委常委会议上说：搞卫星、导弹等尖端项目，仍要贯彻集中统一、大协作的精神。研制工作要坚持高质量，严要求，决不能放松。现在了解，我们许多尖端项目上不去，主要是在工艺和原材料问题上过不了关。对此一定要抓紧。在坚持质量的前提下，步子要加快些。在试验某个型号时，对下一代的型号就要着手研究。新型号不能等老型号定型后再搞，因为研制一种武器特别是尖端武器的周期是很长的。
1979年3月，他在邀请当时主管武器装备的总参谋长助理刘华清谈话时说：买外国武器，一定要注意买专利。引进的目的，主要还是通过仿制研究，为今后自力更生设计制造中国自己的武器装备服务。海军的某些装备，要注意配套，不能只顾舰艇，忽视与之配套的鱼雷、导弹等的研制。“文化大革命”中研究单位所受的损失很大，可至今还有某些领导不重视抓武器装备的科研工作，这是应该力求纠正的。同年6月，他与刘华清再次谈话时重申：中国这么大，武器装备一定要立足于自己研究生产，靠外国是靠不住的，我们不能受制于人。4个月以后，他在听取当时的国防工业办公室主任洪学智等汇报时指出：武器装备依靠进口搞现代化是妄想。我们不能靠进口买个国防现代化。还是要立足于自力更生为主，当然不排除引进个别关键技术，至于整套引进，那是做梦。我们没有那么多外汇，外国人也不会把先进技术全部卖给我们。今后应该定个方针，凡是国内有的，不能向国外买。
同年9月，他在一份中央关于军队工作的传阅件上批注：“武器装备的战术技术论证工作很重要，现在我们从总参到各军兵种都没有论证机构。这是个大问题。建议通盘考虑解决为好。”这个意见引起了各方重视，以后军队各大单位的武器装备论证机构逐步建立或恢复，减少了发展武器装备方面的盲目性。
1983年1月，在听取张爱萍汇报武器装备方面的情况时，聂荣臻强调说：整个装备搞进口主义是思想上的懒汉，不考虑后果怎么样！过去“两弹”靠自力更生，还不是都搞出来了。中国人并不蠢。现在条件比过去好多了，只要坚持自力更生，大力协同，先进的武器装备是一定能搞出来的。飞机用的雷达、电子装备、火控系统，这些配套设备很重要，否则你的飞机就起不了作用。这些设备也很复杂，在国外往往是几个国家协作搞，我们国内更要组织大协作，才能搞好。军事工业中文明生产很重要，外国人一参观我们的工厂或科研单位，首先提出来的就是这个问题。我们打仗历来靠陆军，今后仍然如此，海、空军是配合协同陆军打仗的，这是条原则。因此，在武器装备的研制顺序上，首先要搞好陆军装备，其次才是空军和海军的装备。
1988年2月，李鹏代总理来看望他时，已经退居三线的聂荣臻，仍然关切地说：核武器我们要有，但不要多，要少而精，地对地导弹也一样。没有这些，我们说话就不算数，没人听。我们执行的是积极防御的战略方针，着重发展防御性武器装备。但没有导弹核武器，就不能打破帝国主义国家的核讹诈。所以过去我就说过，我们必须建立必要的还击手段，否则就谈不上有现代国防。搞“两弹”，关键是要把队伍组织好。跟打仗一样，队伍不组织起来，怎么打啊！
聂荣臻还以炽热的感情，关心着尖端武器试验的成功与失败，关心着国防科技事业的建设和发展。
1980年5月18日，中国向南太平洋发射了洲际导弹。81岁高龄的聂荣臻已经没有精力像过去每次重大试验时那样亲临第一线了，他就到国防科委指挥所观看发射实况。当发射取得圆满成功时，他高兴而又激动地说：一弹震全球，感谢同志们！随后又信手命笔，题写了以下贺词：“热烈祝贺参与发射运载火箭的全体同志取得圆满成功。这是自力更生，艰苦奋斗，同心同德，大力协同的伟大胜利！”1982年10月7日，中国首次潜艇水下发射潜地导弹试验失败。他得知情况后，不是批评和埋怨，而是嘱咐秘书向在现场指挥的领导人打电话：既是试验，就有成功与失败两种可能，要像我国女排争冠军那样，胜不骄，败不馁！大家不要泄气，更不要埋怨，重要的是总结经验，更好地进行技术检验，找出问题所在，以利再战，我们一定会获得成功的！在试验现场的领导和科技人员，闻之无不感动，深受鼓舞。大家说：还是聂帅懂得科技工作和理解科技人员，这种时候鼓励比责备更重要。果然在大家努力下，5天以后，第二次潜艇水下发射潜地导弹试验，获得成功。
1991年11月，《当代中国》丛书之一的《当代中国的国防科技事业》卷即将付梓，应国防科工委的请求，聂荣臻欣然为之作序。他在序言中说： 30多年来，在党和政府领导下，中国的国防科技事业得到了前所未有的发展，成就举世瞩目。中国人民依靠自己的力量，“在旧中国十分落后的经济、技术基础上，建成了一个比较完整配套的国防科技体系，培养了一支高素质的国防科技队伍，完成了突破尖端的历史任务，掌握了有效的核自卫能力，发展了新型常规武器装备，并在航天等一些高科技领域取得了突破性进展，跻身于世界先进行列，从而大振了国威、军威，提高了我国的国际威望和地位。
这是社会主义优越性的生动体现”。
接着，他在序言中总结了中国国防科技事业取得上述成就的五条主要经验：1.统一领导，处理好经济建设与国防建设、科技现代化与工业、农业、国防现代化的关系，是国防科技事业持续、稳定、协调发展的根本保证。动员全国各有关方面的力量，大力协同，联合攻关，使我们迅速地突破和掌握了原子弹、氢弹、导弹和人造卫星等尖端技术，并为以后的发展打下了物质、技术基矗2.“坚持以自力更生为主，努力提高自行研制能力，是发展国防科技事业的基本方针。”3.“坚持改革开放，实行军民结合，是和平时期国防科技工业发展的必然趋势，也是增强自我发展能力，提高整体效益的正确途径。”4.“坚持两个文明一起抓，在理论和实践的结合中，培养和造就一支思想作风过硬、能攻善战的国防科技队伍，是国防科技事业获得成功的重要基矗”5.“坚持尊重客观规律，加强科学管理，是加速国防科技发展的重要条件。”
从1979年7月起，遵照中央军委决定，聂荣臻主持研究各总部、军兵种、大军区领导班子的调整配备问题。他多次听取总政主管干部工作的副主任及总政干部部负责人的汇报，找有关于部谈话，征求意见，并向邓小平、叶剑英、徐向前等及时汇报请示，终于认真贯彻了关于干部革命化、年轻化、知识化、专业化、任人唯贤等项原则，经过5个多月的努力，顺利地完成了任务。
聂荣臻对军队的训练、政治工作、后勤工作，也有许多重要的指示或建议。
1978年10月，他在审查军事科学院院长宋时轮写的《从投手榴弹问题看当前部队的教育训练》的文章后，写信给宋时轮，除了同意训练中不能要求战士投手榴弹越远越好，考核评比不能搞形式主义等意见而外，强调指出：部队今后要特别重视打坦克装甲车、打飞机、打空降兵和防原子、防化学、防生物武器的“三打三防”训练，不能过多地强调投弹、刺杀、步枪射击、“练铁脚板”等传统训练方法。这不仅是技术问题，也是战术问题。他多次提到第二次世界大战时，苏军对德军、日军对美军作战的教训。当时德军、美军拥有冲锋枪、自动步枪等；而苏军、日军开始只有传统的步枪，根本没有拼刺刀的机会，吃了大亏。因此，他的结论是，人民解放军一定要结合实战需要，从难从严，科学地进行训练。
1980年4月，他在听取总政治部领导人关于全军各大单位政治部主任会议的情况汇报时提出：军队政治工作抓党的建设“抓得对，抓得好。首先把党整顿好，先解决‘头’的问题，躯干和四肢就好办了。红军时期起就是这样做的。那时战争频繁，对党员的教育抓得很紧，党员受到教育就在行动上表现出来，发挥出自己的先锋模范作用，战斗力就强了”。他还要求军队一定要加强思想教育，让无产阶级思想牢牢占领阵地。特别提到了军队高级干部要加强对子女的教育，许多坏的电影、录像不能让子女看。对这个问题，聂荣臻一直很重视，直到1987年4月，在写给总政治部主任余秋里的信中，还提出，希望高级干部对子女要严加管教，“因为在现实生活中，确有少数干部子弟依仗权势为非作歹，或靠父母之荫升官发财。这些极易引人义愤??群众对这类子弟的义愤是对的。我们一定要秉公处理：提拔不当的，该降就降，该罢就罢；为非作歹的，该关就关，该杀就杀。决不留情”。一位老共产党员、革命家的铮铮铁骨，由此可见！
1982年11月，聂荣臻在听取洪学智汇报军队后勤工作时指出：“现代战争对后勤提出了越来越高的要求。没有坚强的后勤保障，要想取得战争胜利是不可能的。希望后勤战线的全体同志更加奋发起来，搞好精简整编和后勤自身的现代化建设，为国防现代化做出更大的贡献。”
聂荣臻高瞻远瞩，善于把新时期的特点和历史上的优良传统结合起来，这一系列的深刻论述和实践，为人民解放军的革命化现代化建设做出了新的宝贵贡献。