聂荣臻负责领导全国科学研究工作以后，深感近代科学技术的极端复杂性，无论军队还是地方，都必须把全国的科技力量组织起来，贯彻全国一盘棋的大协作精神，才能取得积极成果。这同战争年代组织大兵团作战，集中优势兵力打歼灭战的思想是一个道理。因此，他除了军事系统而外，也十分重视地方科技方面组建机构、组织队伍的工作。
1956年在制定12年科学规划的过程中，对科研领导机构的设置问题，科学家们就曾经展开过争论。陈毅、李富春、聂荣臻在同年10月29日的报告中说：“关于高级协调机构问题，争论最大。在8月份的讨论中，少数同志曾有不同意见，但出席会议的中国科学家（包括郭沫若院长）和大多数有关单位负责干部，一致主张建立一个常设的高级协调机构。因为科学规划是全国规模的，而执行时必须分为三个系统，即（中国）科学院、高等学校、产业部门，另外还有原子能委员会和航空工业委员会。对这几个系统实施科学规划的情况，应该有一个机构经常加以监督。同时怎样使这几个系统明确分工，密切合作，协调地执行规划，是一个很重要很复杂的问题。各方面不协调，会产生有些任务落空，有些任务重复等现象，妨碍科学的发展。”
因此，聂荣臻等在报告中提出：“把科学规划委员会保留下来，并设一个精干办公机构担负上述任务，是一个比较妥当的办法。”11月份，周恩来、邓小平等批准了陈、李、聂的报告。国务院科学规划委员会保留下来了，由聂荣臻任科学规划委员会党组书记。科学规划委员会党组的成员有：宋任穷、黄敬、赵尔陆、刘杰、张劲夫、范长江、张玺、黄松龄、于光远、谷牧。秘书长范长江、副秘书长武衡。
当时科学规划委员会的委员大多是科学家，没有专职办事机构。聂荣臻认为，这种状况难以开展工作。于是，他与张劲夫商量，调中国科学院副秘书长武衡到科学规划委员会从事专职工作。武衡调来后，经过半年多的筹建，设立了一个20多人的专职办事机构。
1957年5月12日，国务院批准科学规划委员会由聂荣臻兼任主任，郭沫若、林枫、李四光、黄敬、杨秀峰为副主任。委员106人，大部分仍是科学家。秘书长范长江，副秘书长武衡、李强、安东、姜君辰。科学规划委员会的主要任务，是对科学事业进行规划计划、组织协调、科技干部的培养分配、安排解决科学工作的保障条件和开展国际合作等。
聂荣臻主管科学规划委员会以后，不久就遇到了所谓“二黄一张”之争。
1956年1月，周恩来在《关于知识分子问题的报告》中提出：要“用极大的力量来加强中国科学院，使它成为领导全国提高科学水平、培养新生力量的火车头”。①这使科学家们很受鼓舞。一时，工业部门和高等院校的专家、教授们纷纷要求调中国科学院工作。这引起了代表工业部门的国家技术委员会主任黄敬，代表高等院校的高等教育部副部长黄松龄，与当时的中国科学院副院长、党组书记张劲夫的争论。黄敬要求中国科学院将有关工农业生产的研究人员和机构划归产业部门。黄松龄则主张科学院将有关基础理论研究的人员和机构划归高等院校。
中国科学院是根据苏联的经验逐步建设加强的。当时苏联科学技术的发①《周恩来选集》下卷，人民出版社1984年11月第1版，第185页。
展与资本主义国家比，速度要快得多，其基本原因就是集中了众多的优秀科学家，集智攻关。而资本主义国家的“皇家学会”、“国家科学院”等组织，只是少数知名科学家的荣誉组织，除了有时开开会，出版些刊物，授予荣誉称号等活动外，对科学研究不起直接的组织领导作用。有鉴于此，张劲夫当然要据理力争。
三方矛盾难以解决。聂荣臻要武衡了解情况，居间调停，但收效甚微。
三方争论愈演愈烈，一直闹到毛泽东那里。有一次，毛泽东在见到中国科学院院长郭沫若和高等教育部部长杨秀峰时说：你们两个有意见，不要吵了，划个“三八线”嘛！
聂荣臻听说后感到问题严重，报告了周恩来，建议开会讨论解决。1957年6月，周恩来召集聂荣臻、黄敬、张劲夫、黄松龄、范长江、武衡等人开会。开始时会场沉默，谁也不讲话。周恩来要聂荣臻先讲讲。
聂荣臻在讲话中说，中国科学院这个“火车头”不能削弱，应该加强，我认为苏联组织科学院的经验是可取的，但要再调很多科学家进来，现在看不大可能，只能逐步加强。工业部门和教育部门也不应该挖科学院的墙脚。
大家都不要有本位主义，现在总的说是人才太少，国防科研方面也碰到了人才奇缺的困难，为了国家和人民的利益，我们还是应该强调互相协作，充分发挥各方面的积极性为好。
聂荣臻讲完后，周恩来要大家发表意见。张劲夫、黄敬、黄松龄发言都表示拥护聂荣臻的意见。周恩来最后讲话说，他也同意聂荣臻的意见，大家都要克服本位主义，顾全大局，以推动中国科技事业的发展。“二黄一张”之争，至此方告结束。
几天以后，聂荣臻在科学规划委员会第四次扩大会议上讲话，进一步强调了中国在科研工作中各方面大协作的重要性。他说：“我国统一的科学研究工作系统，是由中国科学院、高等学校、中央各产业部门的研究机构和地方研究机构四个方面组成的。在这个系统中，中国科学院是全国学术领导和重点研究的中心，高等学校、中央各产业部门的研究机构（包括厂矿实验室）和地方所属的研究机构，是我国科学研究的广阔的基地。”“科学研究工作必须有适当分工，但更重要的是必须强调协作。”
对聂荣臻的这次讲话，新华社在1957年6月13日的电讯中说：“国务院科学规划委员会第四次扩大会议在北京举行。委员会主任聂荣臻在会上讲话：中共中央和国务院对科学界反映出来的许多重大问题已经或正在逐步解决。关于曾经在科学界引起争论的科学体制问题，广泛地征求了各方面的意见以后，大体上取得了一致的认识。”新华社通讯接着用引号引用了聂荣臻前述讲话中关于中国科研工作系统是由“四个方面组成的”那段话。
经过近两年的实践，聂荣臻深感全国科学技术工作的高度复杂性，迫切需要建立一个集中统一的强有力的组织领导机构。1958年10月，他向中央建议，将国务院科学规划委员会与技术委员会合并，组成中华人民共和国科学技术委员会（简称国家科委）。11月，中央批准了这个建议。国家科委由聂荣臻兼主任；副主任为韩光、刘西尧、张有萱、范长江、武衡，不久又增加了张劲夫（仍兼中国科学院的工作）。国家科委机关工作人员共200多人，设16个厅、局。
聂荣臻在与各位副主任和有关负责人研究后，确定国家科委的基本任务是：1.深入研究科学技术方面的方针、政策，为中央决策提供依据；2.制定和检查科学技术工作的规划、计划；3.组织各有关单位对重大科技项目和科研任务的合作协调，鉴定和推广技术上的发明创造和科研成果；4.加强对全国科技干部的培养和使用工作；5.科技方面的计量、标准化工作的统一管理，6.提供情报资料、化学试剂、仪器仪表等科研保障条件；7.开展与外国的科技合作和交流活动。
至此，聂荣臻一人身兼中央科学小组组长、国家科委主任、国防科委主任。他在中共中央、中央军委的领导下，建立了对全国科技事业的集中统一的领导机制。实践证明，这对全国科技工作，从规划、计划的制定、报批、检查，到科研任务的确定，科研人员、物资、经费的管理分配，组织全国大协作等等，决心下得快，步调一致，较大地提高了领导机关的工作效率，促进了全国科技事业的发展。
1958年9月，报经中央批准后，聂荣臻在中华全国自然科学专门协会、中华全国科学技术普及协会全国代表大会上的讲话中宣布：为了更有利于实现知识分子和工农群众相结合，科学技术和生产实践相结合，普及与提高相结合的方针，决定将上述两个组织相合并，组成中华人民共和国科学技术协会（简称“科协”），统一管理全国的科学技术普及宣传工作。“科协”的成立，是加强中国科学事业统一领导的又一项重要措施。
从“二黄一张”的争论中，聂荣臻深感人才不足是阻碍中国科技事业发展的主要原因。解决的办法，除了加速培养人才而外，就是组织全国大协作。
也就是加强国防科研系统、中国科学院、高等院校、中央产业部门的研究机构、地方研究机构的建设与相互协作。
1957、1958年，聂荣臻经常提到中国科学院的“火车头”作用问题。
1957年2月，他在与范长江、李强、王顺桐、蒋南翔等人谈话时说：中国科学院不能什么都搞，要有重点，要像火车头拉车厢那样带动科学事业的发展。
4个月以后，他又对科学家们说：“我国有一个拥有必要的科学研究机构的国家科学院是完全正确的，是合乎世界科学发展总的趋势的。中国科学院不仅是科学家的荣誉组织和全国学术领导的中心，而且是实际从事重点科学研究工作的地方??国家必须在中国科学院所担负的重点任务上，积极予以支持。使中国科学院逐步形成一支坚强的科学队伍，使它在科学的若干主要的部门内，真正担当起突破阵地，开拓新的科学领域的任务。”在聂荣臻的大力支持下，中国科学院的研究机构与研究工作，都较快地逐步得到发展。到1962年，科学院的研究所由40几个增加到100多个，成为中国科技事业攻关的最重要的方面军之一。
对于高等院校，聂荣臻认为它不仅是培养人才的主要场所，而且也是重要的科研基地。1957年6月，他在科学规划委员会第四次扩大会议的讲话中说：“高等学校的科学研究工作，必须积极提倡，大力加强。教学和科学研究同样是高等学校的基本任务，两者不可偏废。这不仅是科学研究工作本身的需要，而且是提高教学质量的基本方法。”
从50年代起，大批有条件的高等院校都积极承担科研任务。聂荣臻的讲话传达后，更进一步调动了高等院校参与科学研究的积极性。像北京大学、清华大学、复旦大学、兰州大学等高等院校不仅设立了核物理、放射化学、数学力学、电子技术、光学、精密仪器等新技术专业，为科研事业培养急需的人才，还承担了大量民用、军用的高精尖专业方面的研究课题，取得大批成果。
1958年5月9日，鉴于培养科技干部的迫切需要，中国科学院向聂荣臻建议创办中国科技大学，以解决国内各大学一时还难以培养的尖端性学科的科研人员，如核子物理、超音速空气动力学、超高频技术、地球化学、高空大气物理、射线生物学、半导体技术等专业的人才。5月21日，聂荣臻在给中央书记处的报告中说：“中国科学院拟办一大学，我认为是可行的。昨与恩来同志面谈时，他也很赞成??请中央同意批准，以便立即筹备暑假招生。”6月2日邓小平批示：“书记处会议批准这个报告，决定成立这个大学，校舍另议。刘（少奇）、周（恩来）、陈（云）核阅后，退荣臻办。”
上述领导都圈阅同意。
聂荣臻接到批示后，要张劲夫“即办”。在聂荣臻的支持下，学校教室、实验室、运动尝宿舍等问题一一迎刃而解。当年9月，中国科技大学正式开学。这是何等高的速度！中国人民大办科学的心情是何等的急迫！
为加速培养国防科研所需的人才， 1961年1月以后，中央和军委先后批准将北京航空学院、北京工业学院、哈尔滨工业大学、成都电讯工程学院、西北工业大学、南京航空学院、上海交通大学、太原机械学院、西安军事电信工程学院、南京炮兵工程学院、哈尔滨军事工程学院划归国防科委领导。
1961年1月11日，聂荣臻在国防高等院校座谈会上的讲话中指出：“我们能不能培养出大量的又红又专的优秀科学技术干部。是我国发展国防工业和国防科学技术的一个根本问题，具有特别重要的战略意义。”军队和地方的大批高等院校，积极为科技事业培养人才，参与许多科研项目的协作攻关，成为科技战线上又一个重要的方面军。
从50年代中期起，在全国全党重视科学研究工作的气氛鼓舞下，国务院各产业部门纷纷积极地组建科学研究机构。到1962年，仅北京地区，直属国务院各部委局的重点科研单位就有：钢铁、有色金属、矿山、有色冶金设计、电器、机械、农业机械化、水利水电、煤炭、石油、化学工业、建筑、建筑材料、地质、纺织、农业、林业、铁道、交通、邮电、医学等20多个研究院。
聂荣臻十分重视各产业部门的科研力量，把它看成是组织科技战线大协作的重要方面军之一。他要求各有关单位大力支持各产业部门科学研究机构的建设，使科学研究的新成果尽快应用到生产中去。他要求各产业部门的科研机构，要善于总结，把生产中的经验提高到科学理论的高度，使自己成为本专业领域内全国科研的中心；并力所能及地参加全国重点科研任务的协作攻关活动，在作出贡献的同时，达到提高自己的目的。
对地方科研机构的作用， 1957年6月，聂荣臻在科学规划委员会第四次扩大会议上的讲话中说：“各盛市、自治区必须重视科学技术的研究工作。在全国科学事业中，地方应密切结合本地区的经济建设和文化建设的需要开展研究工作，以充分发挥本地区科学家的作用。”
1958年12月，聂荣臻赶到上海，出席全国第一次地方科学技术工作会议。他在会上的讲话中，在与科学家和科研部门领导的谈话中，反复强调全国一盘棋的思想，强调地方科研力量在完成本地区本部门的科研任务以后，要积极参加全国重大科研项目的协作攻关。例如喷气技术、空气动力学、高温合金、电子技术、高能燃料、人造卫星、若干重要的基础理论，以及在像长江三峡水利枢纽工程、黄河中上游地区水土保持等重大项目的科学研究方面，地方科研力量根据自己的特长和优势，力所能及地积极参与，但不要自己单独搞。因为这些项目不仅需要动员各门学科的力量，耗费巨大的人力物力，而且就其性质来说，不需要也不可能各地单独搞，应该全面协作才能取得成果。
从这次会议以后，进一步调动了各地方的科研力量参与全国科技事业大协作的积极性。在中国发展科学技术进程中，地方科研部门这支重要的方面军，同样也发挥了重大作用。
经过复杂艰苦而又持久的努力，从50年代中期起，中国的科技事业取得了巨大进展。在组建机构、组织队伍方面，到1962年，科研单位已由1956年时的381个发展到1296个；科研人员由9000多人发展到9.4万多人。以上还不包括国防系统的科研机构和科研人员。这些，都为中国科技事业的发展奠定了坚实的基矗