突破第四道封锁线以后，一军团到了广西资源县油榨坪。路上，当聂荣臻登上越城岭的峰巅时，举目西望，呵！一层山接一层山，像大海的波涛，一浪一浪地铺向天际，西斜的夕阳给一眼望不到边的群山镀上了一层耀眼的金黄色，让人真有一种置身于海边的感觉。他不禁惊叹了一声：呵呀，怎么这么多的山呀！自己的家乡也有山，江西也有山，可是都比不上这里的山海。
在以后的一段时日里，他是在担架上度过的。由于过九峰山时脚被刺破感染化脓，经过血战湘江以后，就再也无法走路骑马了。如今钻进山里，就在一个壮族老乡家里，由戴济民医生为他开了刀。他躺在担架上，有时和部队一起，有时在中央纵队。那担架是用两根竹竿作骨架，中间结上绳网，他躺在里边，不是上山，就是下山，难得走那么一点点直路。天上的云朵在他的眼里晃荡着，看着看着，他便迷迷糊糊地睡着了。但更多的时间，他在焦心地思索着，思索着胜利和失败的经验教训，思索着红军今后的命运。在这段行军中，聂荣臻有机会与红军总政治部主任王稼祥在一起。
王稼祥在第四次反”围剿”后被敌机炸伤，伤口未愈，一直在担架上随队长征。聂荣臻初到苏区时担任总政治部副主任，与王稼祥一起共事。王稼祥虽与王明、博古是莫斯科的同窗，但他来苏区较早，有与毛泽东合作的经历。他从切身经验体会到毛泽东战略战术的正确。因此，在宁都会议上他不同意排斥毛泽东。现在，他与聂荣臻不约而同地思索着同一个问题。白天晚上，两副担架或前或后，或左或右，时常在一起。他们很少有机会做这样的长谈，全都向对方敞开了心扉。
聂荣臻说：“事实证明，博古、李德等人不行，必须改组领导。”
王稼祥说：“应该让毛泽东同志出来领导。”
聂荣臻说：“完全赞成。我也有这个想法。而这个问题势必要在高级会议上才能解决。”①他们谈了很多很多。这一段行军，他们是没齿难忘的。在壮族的茅屋里，在荒无人烟的山岭上，他们遥对星空，推心置腹，商讨着拯救全党全军的大事。
王稼祥在后来召开的遵义会议上是有特殊功勋的。陈毅曾经把他比做楚汉相争中的韩信：在楚则楚胜，归汉则汉兴。王稼祥是从“左”的桎梏中挣脱出来的，他说话更有说服力。聂荣臻在“文化大革命”中还特意提到担架上倾心相谈那段经历，谈到王稼祥不可磨灭的功勋。1971年“九·一三”事件之后，9月27日聂荣臻在中央召开的老同志座谈会上发言说：“王稼祥那个时候的确是拥护（毛）主席的。”聂荣臻的谈话，使王稼祥在“文化大革命”危难之中深受感动，十年动乱结束后王稼祥还专程登门向聂荣臻致意。
12月10日，红一军团二师五团攻占通道。红军在通道休息了一天，继续西进，目标还是企图去湘西与红二、六军团会合。敌人在中央红军渡过湘江后，已在湘西陈兵几十万，布置好了又一个口袋，正等着红军往里钻。在通道会议上，毛泽东提出放弃与红二、六军团会师的计划，西入贵州创造新的根据地的意见。多数人同意毛泽东的意见，但他没能说服博古、李德等人。
12月14日军委电令红二、六军团向湘西北发展，接应中央红军。
①《聂荣臻回忆录》，解放军出版社1986年3月第2版，第243页。
离开通道城以后，聂荣臻归队了，仍旧坐在担架上。他不放心部队。在新的进军中，一军团走右翼，进入贵州境内。12月15日，林、聂指挥六团与三团抢占贵州黎平，敌王家烈部一个团望风披靡。
12月18日，中央在黎平召开了政治局会议。经过毛泽东的努力说服，许多人改变了观点，同意了毛泽东的正确意见。中共中央政治局作出了关于西进乌江、在川黔边建立新根据地的决定。这样，就使敌人在湘西集结重兵，阴谋围歼中央红军的计划落空。
中央政治局在黎平开会时，红一军团继续前进。12月18日，在往剑河前进的途中，林、聂接到军委的电报，说中央有新的战略方针，不久，收到了政治局黎平会议的决定。红一军团集合师以上干部，由聂荣臻传达这个决定。
从此，红军改变进军方向，不再往敌人布置好了的口袋里钻，而是向遵义挺进。
去遵义，要先渡乌江。红一军团奉命突破乌江天险。
在尔后的行动中，二师由军委直接指挥，取道江界河渡口；一师由林、聂率领，取道回龙场渡口。
12月底，红一师进抵回龙场渡口。新年到了，倘若在往年，总要举行联欢，而今年过年，林、聂给指战员们出了个题目：如何完成突破乌江，拿下遵义，叫大家讨论。
这时，贵州军阀王家烈妄图凭借乌江天险，阻拦红军于乌江南岸。在红军后面，国民党军吴奇伟、周浑元两个纵队已尾追进入贵州，到达黄平、施秉、镇远一带。迅速强渡乌江，成了红军的紧迫任务。
聂荣臻由人抬到江边隐蔽地点，和林彪一起组织干部看地形。
1935年1月1日，白茫茫的云气笼罩着水流湍急的乌江，笼罩着两岸的竹林，风在山谷中呼啸。一师一团组织火力压制对岸敌人，指挥8名勇士乘竹筏偷渡，没有成功，以后趁夜幕从水势较缓的地方强渡，成功了。先渡江的勇士掩护全师及红九军团，至1月4日全部渡过了乌江。
1月2日，在军委先遣队队长张云逸指挥下，二师四团在江界河渡口也强渡成功，并架起了俘桥，掩护军委纵队和红五军团部队由此渡过乌江。
1月6日，红三军团在茶山关渡口渡过乌江。
同一天，二师六团在总参谋长刘伯承的指挥下向遵义进军。六团先歼灭城外1个营的敌军，然后化装成敌人出现在城下，诈开城门，几乎是兵不血刃占领了遵义，3个团的黔军溃逃。次日凌晨，二师全师进入遵义。
遵义城披着金灿灿的霞光，迎接它的客人。聂荣臻陪同总参谋长刘伯承进了城门。硝烟刚刚熄灭，有些店铺就开始营业了，柜台上摆着桔子、蛋糕、云烟、茅台酒。近一个时期老在人烟稀少的山中行军，乍一走进贵州第二大城市，他们确实有耳目一新的感觉。
刘伯承、聂荣臻来到二师师部。这支攻克遵义的部队正在解背包，准备休息。
“眼下还不能休息。”刘伯承参谋长说。“需要立即派出部队追击从遵义逃出的黔军3个团，占领娄山关、桐梓，以屏障遵义。”
经与二师领导人商量，决定把这个任务交给四团。
当刘伯承向四团团长耿飚和政委杨成武交待任务时，耿、杨面带难色。
聂荣臻知道，他们觉得部队的思想工作难做。他理解他们的难处。指战员们一路过封锁线，钻连绵的大山，进入这样的城市，多想吃顿饱饭，饱饱眼福，可是进了城屁股还没坐热又得出发。聂荣臻对杨成武说：“你是政委，要向同志们说清楚，任务紧急，不能在遵义停留。早饭也不能在这里吃，到路上去吃，完成任务后，再争取时间好好休息。”
耿、杨二人思想通了。经过做思想工作，他们集合起队伍出发了。
在危机面前，在困难面前，靠什么鼓舞士气？唯一的方法就是做思想政治工作，使他们明白奋斗的目标并为之赴汤蹈火。聂荣臻从切身经验里深深地体会到这一点。
1月15日至17日，中共中央政治局在遵义召开了扩大会议。
会议是在王家烈部第二师师长柏辉章的一座豪华的住宅里召开的。这是一所二层柱廊式的灰砖建筑，屋檐略微突出，二层上有带顶篷的走廊，四周有围墙，外院是青砖地，房子旁边有一株古槐。会场设在楼上一间长方形的客厅里。红木地板和门窗，天花板上吊着一盏煤油灯，中间放着一张长方形的桌子，20把椅子摆成了一个半圆形，因为天冷，地板上还烧着一盆炭火。
参加会议的人，除了政治局委员和候补委员毛泽东、周恩来、王稼祥、张闻天、朱德、刘少奇、陈云、博古、邓发、凯丰以外，还有刘伯承、李富春、彭德怀、杨尚昆、李卓然、邓小平、聂荣臻和林彪。李德也列席了会议，伍修权为他作翻译。在会议召开之前，经过了相当时间的酝酿。毛泽东在中央领导集团中做了不少工作，使一些人思想通了。周恩来、王稼祥对开好遵义会议起了关键作用。30多年后，在“文化大革命”中，毛泽东说在遵义会议上王稼祥投了“关键的一票”。
会议由博古作主报告。他首先谈了第五次反“围剿”，对战争的失利强调了客观原因。周恩来作副报告。第三个发言的是张闻天。接着发言的是毛泽东，他批评了博古、李德等人错误的军事路线。王稼祥站起来发言支持毛泽东。会上大多数人拥护毛泽东出来领导。
聂荣臻在发言中，对李德进行的尖锐批评，伍修权至今仍然记忆犹新。
李德连每门炮的位置以及哨兵设在哪里等具体部署都瞎指挥，让聂荣臻很恼火。
与会者只有政治局候补委员、共青团书记凯丰支持博古和李德。他承认博古、李德确实犯了错误，但不同意解除他们的职务。会前和会中，凯丰三番五次找聂荣臻谈话，要他支持博古，被聂荣臻坚决拒绝。
聂荣臻从来不在大是大非面前搞折衷或者妥协。
关于尔后的行动方向，聂荣臻和刘伯承的发言都建议打过长江去，在川西北建立新的根据地。他们认为：四川条件比贵州要好得多。贵州人烟稀少，又毫无工作基础，建立根据地实属困难。而四川比较富裕，人又多又有第四方面军的川陕根据地；四川军阀搞得民不聊生，只要发动群众就能站稳脚跟，大有作为；且四川对外交通不便，当地军阀有排外思想，蒋介石想往四川大量调兵不容易。会议接受了聂、刘的建议。后来因敌人堵截，张国焘又放弃了川陕根据地，这项建议未能实现。
会议增选毛泽东为中央政治局常委。会后，在常委分工上，由洛甫（张闻天）代替博古主持中央的日常工作。在行军途中又由毛泽东、周恩来、王稼祥3人组成军事领导小组，负责指挥军队。
遵义会议是中国共产党革命史上具有最伟大意义的一次会议，是一个伟大的历史转折。从此，实际上确立了毛泽东在全党全军的领导地位。
遵义会议进行了3天。追兵在即，会议精神来不及向部队传达。1月19日，滚滚铁流又向前奔腾而去。