尽管苏联领导集团的决定是这样的不讲信义、不留余地，中国政府还是从两国人民的传统友谊出发，对苏联的做法采取了克制态度。在苏联撤走专家前，聂荣臻指示各有关单位，抓紧一切机会，虚心请教，尽可能向态度友好的苏联专家多学点东西；专家撤走时要以礼相待。据此，各单位对即将归国的苏联专家和他们的家属子女，普遍举行了欢送会，并对他们的帮助表示了感谢。苏联专家临走时，大多数表现了依依不舍的留恋之情。
苏联专家撤走时，还按上级指示，带走了全部技术资料。中国派往苏联留学的大学生、研究生的学习，也受到多方面的限制。尤其是学习导弹、原子、航空、电子等专业的学生，处境更为困难。
在苏联专家全部撤走的困难关头，五院领导人专程赶到北戴河向聂荣臻汇报。他们表示：苏联专家在的时候，也从不帮助我们搞研究设计，由于有自力更生的方针，研究设计工作都是五院科研人员自己进行的。现在他们撤走，对我们影响并不大。设备资料方面的某些困难，根据五院已有的基础，经过努力，也是可以克服的。现在最困难的是原材料问题。话是这么说，但还是掩饰不住他们焦急的心情。聂荣臻对他们说：大家不要着急，这些困难是可以克服的，是暂时的。希望五院坚决贯彻毛泽东主席的指示，奋发图强，埋头苦干，下决心依靠自己的专家，把导弹和试验设备研制出来。原材料方面，也是如此。完成了近程地地导弹的仿制以后，要集中力量迅速研制自己的中近程、中远程导弹，为国家民族争气。3天后，聂荣臻又把国防科委秘书长安东找来，对他说：“国防科研要缩短战线抓重点。地地导弹是战略任务，人力、财力、物力，要确保首先用于五院。其它的国防科研项目也要排排队。”
聂荣臻把军事上集中兵力打歼灭战的重要思想，运用到了“两弹”研制方面。以后，钱学森对这种领导方法，多次予以肯定和推崇。
在核武器方面，自1959年6月苏联拒绝提供援助以后，7月，周恩来向宋任穷传达了中共中央的决策：“自己动手，从头摸起，准备用8年时间搞出原子弹。”①12月，二机部制定了核武器研制规划。12月17日，聂荣臻与陈毅、罗瑞卿等一起，听取了宋任穷、刘杰关于规划情况的汇报。聂荣臻在会上表示，完全同意二机部关于力争“3年突破，5年掌握，8年有所储备”的规划设想。会后，聂荣臻要国防科委提出加强核武器研究机构建设的意见。
12月30日，在贺龙、聂荣臻等人参加的军委第9次常委会上，经讨论，批准了国防科委的建议。
1960年2月的军委扩大会议以后，中国再次派宋任穷去苏联谈判，希望苏方能履行国防新技术协定。但苏方仍然坚决拒绝中国的要求。4月5日，聂荣臻与军委其他领导人一起，听取了宋任穷赴苏联谈判情况的汇报。聂荣臻在会上表示：完全同意中央自力更生研制核武器的方针，鉴于苏方拒不执行“国防新技术协定”，坚决不给原子弹教学模型、资料、关键原材料和设备，决心自己干，这样时间可能长些，但总是可以干得出来的。
1960年7月6日至8月23日，苏联撤走了在中国核工业系统工作的全部233名专家。
①《当代中国的核工业》，中国社会科学出版社1987年4月第1版，第565页。
从1959年起，为贯彻中央和军委关于自力更生进行原子弹攻关的方针，二机部采取了一系列措施，主要是调集人力物力，加速西北核工业基地的建设，同时缩短战线，力求尽快建成铀235生产线获得合格的产品。调集科技力量，加强北京核武器研究所的建设，积极探索原子弹的设计、引爆和爆轰试验等的研究设计工作。中国第一颗原子弹的研制步伐在自力更生的基点上加快了。
“以自力更生为主，力争外援和利用资本主义国家已有的科学成果为辅”，这个经中央批准的发展尖端武器的方针，聂荣臻时刻铭记在心。现在外援没有了，利用资本主义国家已有的科学成果这一条，他要各有关单位作出更大的努力，争取获得更多的成效。聂荣臻指出：应该广泛收集外国各种书报杂志等资料，参观各种技术展览，购买技术专利和各种先进设备。
另一方面，对此同样也是不依赖、不幻想。从总体上说，在苏联卡我们，帝国主义国家封锁我们的条件下，聂荣臻提出必须进一步强调自力更生，把突破“两弹”的希望主要放在自己力量的基点上。
与苏联撤走专家的同时，“两弹”研制又出现了另一个重大困难。60年代初，由于粮食不足，竟迫使正在导弹基地、核试验基地施工的工程兵、铁道兵部队疏散或撤走了，甚至许多科技人员也被疏散了。聂荣臻忧心忡忡。
他报告周恩来后，周恩来亲自到军委会议上部署军队各大单位筹措粮食，紧急运往西北大漠深处的基地，这才解了燃眉之急。
聂荣臻有一次对导弹试验基地的副司令员李福泽说：你们把工兵团、汽车团、警卫团的大部分人员疏散了，这我没意见，机关也可以只留少数人，技术人员疏散到别地的工厂保留，这也可以。但听说，有的单位把直接从事火箭技术方面工作的知识分子也打发走了，有这样的事吗？李福泽低下头轻声回答：“有。”聂荣臻说：“你知道莫塞莱①这个名字吗？”然后叹息地说：“他是位年仅28岁的大科学家，在原子物理学上有重大发现。可是，在第一次世界大战时，被强征入伍，死在了战场上。不仅英国的科学界，而且世界的科学界都对这颗科学巨星的过早陨落，深感惋惜和悲痛。此后，英国政府规定，不准征召科学家到第一线作战部队服役。而今，难道我们还不如当时的英国政府吗？这样下去，我们的导弹何时才能上天！”
聂荣臻如此关怀知识分子，李福泽深受感动。他回到基地，把已经疏散走了的知识分子请了回来。
苏联人撤走了，这极大地刺激了中国知识分子的自尊心。所以，中国国防尖端项目坚持进行下去的方针一经确定，导弹研究院的科学家、工程技术人员，从上到下都进入一种自力更生、艰苦奋斗、发愤图强的工作状态。
在北京郊区导弹研究院和北京核武器研究所的办公楼、图书馆、资料室里，灯光通宵达旦地亮着。科技人员在这里翻阅资料，讨论方案，苦心研究，精心设计。被激励起来的工作热情极为高涨，这是民族的热血在涌动。可他们，是在副食品严重缺乏的忍饥挨饿情况下工作的。
国防科委的干部，把这些事情告诉了正在协和医院住院的聂荣臻。他因为工作过度劳累，住院已经快一个星期了。听到这个消息后，他深深地感叹：①莫塞莱（1887—1915），英国物理学家，毕业于牛津大学。1913年，他用不同材料制成的X射线管，测得一系列的X射线光谱，使元素周期表比按原子量排列的更加完美，对周期律和光谱分析法的发展起了重大作用。
“这就是我们的知识分子呀！”这天晚上，聂荣臻穿着病号服走来走去，对这件事想了很久。
第二天，他一早就把秘书找来。秘书来时，聂荣臻还穿着睡衣。他坐在沙发上对秘书说：“昨天我想了好久，你今天先去找爱萍同志，让科委的同志们商量一下，五院、核武器研究所的科技人员一定要劳逸结合，要想办法改善他们的生活，决不能搞坏身体。”
秘书走后，聂荣臻仍在想，现在科技人员每天进行这样超长时间的工作，身体的消耗是极大的。只强调休息，一般地讲讲改善生活，还不行，如果没有足够的营养品，身体是要垮的。可现在，正是自然灾害的困难时期，党和国家的最高领导，都只是维持着最低的生活标准。当时，肉、蛋、黄豆一类副食品极为紧张，就是有钱也没地方去买。在这种情况下，拿什么给科技人员呢？
最后，他接通了周恩来总理的电话，他对周总理说了导弹研究院、核武器研究所的情况后，请示说：总理，现在我想是不是可以以我个人的名义向各大军区、海军募点捐，让他们支援些猪肉、黄豆、鱼、海带之类的东西，多少解决些问题。周总理认为这个办法好，很支持。这样，从聂荣臻办公室打到北京、广州、济南、沈阳军区和海军的电话，都传达了这样的意思：我们正在进行国防尖端项目攻关的科学技术人员生活清苦，任务繁重，需要各大单位援助一些副食品。
“募捐”来的东西，比预料的要多得多。海军和北京、广州、济南、沈阳等军区，价拨给了国防科研战线一批猪肉、鱼、海带、黄豆、水果等副食品。在当时，这些都是无比珍贵的东西。
就在聂荣臻向各单位发出呼吁的不几天，副总参谋长杨成武和北京军区副司令员郑维山，到协和医院看望聂荣臻。聂荣臻专门对郑维山说了“募捐”的事，他半开玩笑地说：“我知道你们的家底，你们有生产，有东西，你一定要拿出一些来。你可不能小气呀！”郑维山的回答也很干脆，“东西我一定搞一些，还可以打一些黄羊”。
“募捐”所以进行得很顺利，这里面至少有两个主要因素起了作用：一是，各大单位对研制国防尖端武器的极大热心；二是，聂荣臻在解放军中所享有的崇高威望。正是这两个因素，使得部队拿出他们自己也同样需要的东西时，是那样的慷慨。
陈毅元帅也来看望聂荣臻。听说此事，他对聂荣臻说：“我举双手拥护，向各单位‘募捐’，也加上我的名字。”他满腔热忱地对聂荣臻讲：“科学家是我们国家的宝贝，要爱护，我这个外交部长腰杆硬，也得靠这些人。我们不吃，也要保障他们起码的生活。”“募捐”的东西搞来了，如何分配呢？
聂荣臻对科委的领导说：这也是一项有力的政治工作。要把这些东西以中央和军委的名义全部分配给每个专家和技术人员。他特别说明，行政工作人员一律不分。交待任务时，聂荣臻是极其严肃的。也许他意识到自己过于严厉，又笑了笑，加了一句：“我是要检查的！”
中国的知识分子是耐得清贫的，他们不会有超出一般人生活水平的非份要求，何况国家面临这样困难的时候，连毛泽东、周恩来等都宣布自己不吃肉，以表示与全国人民同甘共苦的决心。毛泽东、刘少奇的孩子，都只吃寄宿学校的普通伙食，回到家里也就是多吃几块红薯或掺了玉米面的馒头。在这种情况下，以中央和军委的名义发下来的副食品，实在使知识分子难以抑制自己的感情。在各科研单位，分发这些东西的场面，气氛令人感动，许多人热泪盈眶。五院一个技术人员说：“我们国家这样困难，主席、总理都吃白菜汤，军委太关心我们了！”中国的知识分子很讲报答知遇之恩，所有的人都表示，要为国防尖端武器的研制，拼出一腔热血，研制“两弹”的积极性更为高涨。
东西分完了，聂荣臻真的检查了。他要安东去五院检查，五院政委刘有光拍着胸脯说：“要是我们分了半两，开除我的党籍！”
1961年1月，聂荣臻在听取刘杰（1960年9月，接替宋任穷任二机部部长）汇报时，提出二机部同样要大抓生活，说这是个大问题。他要刘杰告诉兰州军区司令员张达志，要兰州军区力所能及地调拨一批副食品和粮食支援二机部西北核工业基地人员的生活。
正当“两弹”研制克服重重困难，力争加速进程的时候，国防工业和国防科研战线却出现了“两弹”是继续“上马”，还是“下马”之争。其背景是1961年夏天，中央鉴于“大跃进”等“左”的思潮泛滥，导致国民经济比例严重失调。为此，要各条战线制订出一些条条来，同时酝酿对国民经济进行“调整、巩固、充实、提高”的八字方针。在这种情况下，存些人认为，研制“两弹”困难太大，主张“下马”。聂荣臻是力主继续研制“两弹”的，并且要以“攻关”的精神去突破国防尖端技术。
上马，还是下马，当时的争论非常激烈。
毛泽东这位从一开始就对原子弹极为热心的人，对这场争论甚为关心。
1961年7月，他让秘书从杭州打电话给聂荣臻说：不久前看到了一份材料，中国的工业技术水平比日本差得很远，日本现在还没有导弹、原子弹，但对此很重视。内部有争论，我们应取什么方针？值得好好研究一下。毛泽东还打招呼说，他要亲自找聂荣臻等人谈一次。
当时，国防工业委员会工作会议正在北戴河召开，贺龙、聂荣臻、罗瑞卿以及国防工业、国防科研方面的负责人方强、王净、刘秉彦、刘西尧等人都参加了。
北戴河清风习习，驱走了暑气，会议却开得很热烈，两种意见尖锐对立，争论的温度在不断升高。主张国防尖端武器研制“下马”的人，主要是强调苏联的援助没有了，当前的整个经济形势不好，国防尖端武器研制困难太多太大，我们的工业基础薄弱，原材料无法保证，品种规格不全，新材料研究困难重重，搞“两弹”花钱太多，影响了国民经济其他部门的发展等等。他们主张只搞常规武器，不搞“两弹”。用他们的话说：“你打你的原子弹，我打我的手榴弹。”听到这样的话，不必奇怪。中国人民解放军这支军队中有的是从冷兵器——大刀、梭镖发展起来的，要所有的人不停留在机枪、大炮阶段，这不是件容易的事。
聂荣臻7月20日来到北戴河，第二天就听取会议情况的汇报。他越听越感到不安，在困难面前，不少人对研制“两弹”的信心动摇了，问题的严重性显而易见。聂荣臻多次找人座谈，冷静分析情况，得出的结论是：“两弹”研制都已经有了一定基矗五院、二机部各拥有大学毕业以上的研究人员数千名和一批先进的研究设备，铀矿资源也能满足需求，特别是有一批世界第一流的研制“两弹”的爱国科学家，这是个决定性因素。“两弹”研制还带动了一系列科学技术的飞速发展。于是，他在听汇报时的插话中，在会上的发言中，一再强调“两弹”要继续攻关。尤其是在8月4日的会议上，他作了比较系统的发言。他恳切地说：国防科研方面，“两弹为主，导弹第一”，这是去年2月中央军委扩大会议确定的方针，后来又得到中共中央批准，不能动摇，三五年内要力争突破尖端，现在遇到些困难，但这是历史任务，在困难面前是退还是进？“我的意思还是要进”。与此同时，强调“两弹为主，导弹第一”的方针，并没有排除常规武器的研制，应该两条腿走路。三五年内不管打什么仗，都得靠常规武器，这关系到国家的安危。因此，要特别重视常规武器研制和生产的配套问题。如果这方面的问题解决不好，同样要犯历史性的错误。无论是尖端武器，还是常规武器，现在上不去的关键是新型原材料、精密仪器仪表和技术力量分散的问题。这些问题不解决，就是尖端都停下来，常规武器也上不去。解决的办法是要列入国家计划，大家都来攻关，否则，就事倍功半。尖端与常规武器要想上去，另一项措施是都要缩短战线，任务排队。聂荣臻形象地比喻说：这好比过河，大家都想过，但桥就那么宽，谁先准后，得排排队，否则一拥而上，就谁也过不去。聂荣臻还笑着举了个例子，现在是“虱多不痒”，困难很多，要理一理，具体问题要有人具体抓，否则就像长虱子，长多了，就习以为常，不觉得身上痒了。这一形象比喻，引起了会场上一阵轻松的笑声。聂荣臻接着说，尖端与常规不是谁挤谁，谁怨谁的问题，而是要向中央和军委负责，要从解决具体问题入手，困难是有的，但我们可以上去，不管是尖端武器还是常规武器，都不要退。
对聂荣臻的意见，在日后的会议发言中，大多数人表示同意。但他仍不放心，把当时的国防科委副主任刘西尧找来，面授了国防尖端武器研制应该继续攻关的意见，要他整理成文字。8月20日，聂荣臻签发了《导弹、原子弹应坚持攻关的报告》，全文共5000多字，详细陈述了“两弹”攻关的条件、困难和拟采取的措施等等。①报告上报中共中央后，很快，毛泽东、周恩来等中央领导人都表示同意。
由北戴河回来后，聂荣臻派张爱萍、刘西尧、刘杰率领调查组到二机部核工业建设基地和原子弹研究设计的第一线进行考察，看看8月20日报告中提到的“三个铀的主要矿山将于明后年建成；选矿、冶炼、金属加工和武器装配工厂已有大部分设备，一部分关键设备正在安排试制，争取于1962至1964年先后投入生产。这一套建设项目完成后，即可制造一般的原子弹”，这一段对中央带有保证性的话，究竟能不能落实。11月2日，聂荣臻听取了张爱萍、刘西尧、刘杰的汇报，颇感宽慰。
11月14日，张爱萍、刘西尧将他们考察的情况向中央和军委写了报告，认为“经过前一时期的努力，在各有关方面的积极配合下，核工业建设和原子弹研制工作都有了较大的进展，只要国家进一步加强组织协调，更好地集中全国有关部门的力量进行技术攻关，安排好所需设备、仪器仪表和原材料的研制、生产，1964年炸响原子弹这一设想是可能实现的”。毛泽东、周恩来、邓小平同意上述报告提出的意见。②对原子弹攻关，陈毅元帅用风趣的语言表示了鲜明的态度，他说：脱了裤子当当，也要把原子弹搞上去。我这个外交部长，现在腰杆子还不太硬，你们把导弹、原子弹搞出来了，我的腰杆子就硬了。
①《聂荣臻军事文逊，解放军出版社1992年7月第1版，第488页。
②《当代中国的国防科技事业》上卷，当代中国出版社1992年10月第1版，第46页。