聂荣臻在抓紧党、政建设的同时，狠抓了抗日武装力量的建设。
1937年11月到达阜平后，聂荣臻对唐延杰说：“在五台时，我向总部报告，将杨成武的独立第一团扩编为独立第一师，下面成立3个团，先把架子搭起来，干部配备好，兵员和装备可以慢慢充实，得到了总部和毛主席的批准。独立师成立后，动员群众参军，收编杂色武装，收集枪支弹药，部队得以迅速壮大。现在抗战局面发展很快，杨成武、邓华他们先走了一步，是不是另外3个军分区也改称师，下面各成立3个团，除一分区的一、二、三团外，以下依次编为四至十二团。以适应形势发展的需要。”
“我看可以。”唐延杰作了肯定的回答。
“那就立即向军委、总部发电，同时把军区的实力和平汉路两侧的斗争情况等也报告一下。”
报告送出后没几天，中央军委和总部复电指出：“为避免目标（太大），晋察冀军区之第一独立师改为第一支队外，其余各分区准备所编组之三个师??现即改为支队，每支队以三至四个大队（大队即团）。”①聂荣臻接到复电后，于12月12日遵照军委的指示发布了军区部队整编的命令。
收编杂色武装，也是晋察冀武装力量发展的一个方面。
“司令遍天下，主任赛牛毛哟！”聂荣臻后来回忆说，“几个人，几条枪聚在一起，就可以自称司令。特别是河北省，杂色武装较多，察哈尔也有一些，冀西和冀中地区，杂色武装就更多一些，仅北平到保定的铁路两侧，就有10股较大的杂牌军队??我还在五台的时候，就开始同这些杂色武装打交道了”。
北岳区以及整个晋察冀众多的杂色武装，是在日军侵入华北，国民党军队弃地南逃，旧政府官吏作鸟兽散的无政府状态下出现的。不言而喻，聂荣臻遇到了一个在特定的历史条件下出现的政策性很强的复杂问题。开头他所持的态度就是十分谨慎的。他说：“对怎样处理杂色武装的问题，我是考虑了很久的。对于抗日志士和人民群众组织的土生土长的抗日游击队伍，吸收他们参加八路军，这是没有问题的。但是，对那些打着抗日招牌，祸害百姓，勾结敌人，乘着混乱局势要捞一把的杂七杂八的武装，我们就要保持警惕，采取适当的方式，逐步加以解决。”
聂荣臻经过反复调查分析，逐步弄清了那些自封的“司令”、“主任”、“大队长”们的真面目，发现这些杂色武装中，有确实以抗日为主旨的部队，也有既抗日又打家劫舍的乌合之众，甚至还有假抗日、真反共，稍有风吹草动就可能倒向日军的危险分子。但是，他认为，大部分杂色武装是可以改造好的，在民族生死存亡的关头，稍有国家民族观念的人，绝不忍心荼毒人民，即使是纪律很坏的杂牌队伍，它的大部分成员也来自贫苦的劳动人民，完全可以争取的。他在边区军政民代表大会闭幕时的讲演中特地指出：“对一般土匪武装应当以抗日为出发点来争取他们??希望诸位代表对此深刻地加以考虑，设法加强其政治教育。如果这些部队仍是有土匪和汉奸行为不能转变时，那我们只好对他们严加取缔。这种办法，并不是我们愿意自相残杀，因为在抗日的阶段里是需要坚决的良好的武装部队，并不需要那些土匪式的武①毛泽东、周恩来、彭德怀给聂荣臻的复电，1937年12月6日。
装部队的。”
晋察冀军区部队在敌后屡屡旗开得胜，使聂荣臻和他麾下的将士威名远扬。诚如爱国民主人士李公朴先生所说，“英勇的指挥者聂荣臻将军”签署的军区“核桃大小字的布告”，居然贴到了“恶魔和无耻的走狗所盘踞的北平城内外”，使“敌伪汉奸倒抽了一口冷气”。晋察冀军区的成就，使真正抗日的游击武装迅速参加八路军队伍；使其他杂色武装的首领们不得不考虑如何与之打交道。后者大多慑于共产党、八路军的声威，同时也怕被人吞并，想借八路军的名义保存和扩大自己的势力，纷纷找上门来，请求八路军收编、加委。
早在1937年11月14日，聂荣臻就向总部和中央发电报告说，收编溃兵问题大有希望，散在晋察冀军区范围内的散兵约有万人可以收编。“因八路军在全国之政治地位和他们之孤立，均有极大可能归我们收编，但最感困难者，我处干部过于缺乏，（收编的各部）至低限度亦须三四人，能充任政治主任者去工作方可应付，否则此争取仍是空言。”
在根据地初创时期，聂荣臻向中央和总部的汇报中，此种内容的电报还有不少：“王天存部四百人自愿加入我军，同意杨（成武）邓（华）编法。”
“汤恩伯失联络之别动队及天镇逃出之保安队，人枪约三百，均在阳原及其以南地区，已与杨（成武）团联络，可能收编。”“收容各处之溃兵及失联络部队共数起，数目四千以上。”电报中提到的王天存，原是国民党军的骑兵连长，他拉起的队伍名曰“察南抗日别动队”，实际上也干了些草寇勾当，被老百姓称为“黑马队”。为了争娶改造这支队伍，同时也表示对王天存本人的信任与重视，聂荣臻批准了杨成武和邓华的改编方案，将王天存部编入独立第一师第二团，王天存担任团长，让参加过长征的原团长黄寿发改任副团长。
1938年8、9月间，聂荣臻指示军区有关部队，争取伪军满城石振声部、保定李允声部、徐水“警防队”共1600余人及伪冀东保安队近1200人起义，都获成功，并分别改编为人民抗日军和游击军，李允声、王溥分别为这两支部队的司令。聂荣臻对王溥的印象很好，他说：“王溥是拥护党的抗日主张的，他的表现一直不错，军区要求怎么干，他就怎么干。可惜的是，他缺乏进行游击战争的经验。1940年冬季大‘扫荡’的时候，由于不会打游击，结果，陷到敌人的包围圈里，突围的时候，光荣牺牲了。对他的死，我是很悲痛的。”与此同时，他也下令惩办了一批彻底堕落为土匪和汉奸的首恶分子，解决了他们的土匪汉奸队伍。对于那些已经收编，但仍然本性不改的头目，聂荣臻始终头脑清醒，有所警惕：“不要以为你委他个司令，他就听你的话，没有这回事。”“他在那个地方，比如孟阁臣、赵玉昆在他的地盘里头，他有自己的势力。”聂荣臻在与杂色武装打交道的过程中，得出一条经验：少数本质不好的头头往往很难改造过来，至少在短期内不可能得到明显的改造。但聂荣臻还是从抗日统一战线的大局出发，采取这样的态度：只要这些头头不反对抗日，不叛变投敌，就不动他们。一时改造不过来，继续做艰苦细致的工作，耐心等待。实在顽固不化、抗拒改造的就坚决处置。孟阁臣和赵玉昆就是这方面的突出例子。
1939年初，标榜抗日的“七路军”司令盂阁臣有投向日军的活动，聂荣臻要杨成武立即采取紧急措施。孟阁臣一向把共产党、八路军对他的耐心教育，认为是要吃掉他的部队，所以把边区政府派去的人监视起来。他带部队在地方上为非作歹，群众深受其害，早就纷纷要求予以惩处了。杨成武提出借开会的机会，把孟阁臣扣下，聂荣臻没有同意：“这个办法不行。孟阁臣是个很狡猾的家伙，扣他一个人，掌握不住他的部队，搞不好容易出大乱子。
要等他毫无准备的时候，把他的部队包围起来，一个袭击就解决了。”杨成武按此指示，经过准备，集中了3个团的兵力，出其不意地把孟阁臣的部队包围了。孟阁臣当即被俘，他的部队绝大部分成员经过教育后成为真正的抗日战士。
1月8日，聂荣臻发布了将孟阁臣撤职逮捕的命令。孟阁臣被押送到军区，聂荣臻与他谈话，希望他认罪悔改，弃旧图新。但孟阁臣极不老实，表面上痛哭流涕，口口声声要改邪归正，没有几天，便越狱潜逃，很快被抓了回来，经边区政府审讯后处决。聂荣臻说：“抗日战争中，我们一直强调少捕人、少杀人，但是，对这种不杀不足以平民愤的危险人物，决不能心慈手软。”
抗战开始后，赵玉昆乘混乱局面拉起了一支队伍，自称“十路军”，自封司令，在易县地区活动。1939年2月，“十路军”正式编入一分区建制。
不久，聂荣臻指示将“十路军”与“七路军”留下的部队共六七千人合编为五支队，委任赵玉昆任支队司令，派共产党员王道邦任支队政委，意在团结赵坚持抗日。1940年3月，赵玉昆率部叛变投敌，在投敌前将派去的一些干部和共产党员活埋，王道邦也险遭不测。但是，由于党在五支队进行了坚强的政治工作，五支队绝大部分干部战士还是有觉悟的，所以赵玉昆只带走了少数亲信。他投敌后，任易县伪警备团长兼特务部长，作恶多端，直到新中国成立以后，才在北京被捕伏法。
国民抗日军是一支活跃在北平西山的1000余人的抗日队伍。其成员主要是东北流亡学生、平郊农民群众、冀东保安队逃出来的士兵，以及这支队伍砸开北平第二监狱营救出来的共产党员。这支队伍是中共北平市委组织的。
由于青年学生和地下党员不懂军事，就同部分旧军人结合在一起。赵同在国民党部队呆过，懂得点军事，成了这支部队的司令。国民抗日军因为在战斗中消灭了60多名日本侵略军，并奇迹般地用步枪击落了一架敌机，使全北平为之轰动。后来，这支队伍离开西山进入妙峰山以西山区，由于缺乏过冬的被服、医药用品和弹药，处境十分困难。
聂荣臻在报经八路军总部同意后，以朱德总司令等名义修书一封，送交国民抗日军表示慰问，宣传中共的统一战线政策，介绍八路军抗战情况，并郑重地提出，如果他们愿意联合作战，八路军表示热烈欢迎。
此信犹如一石击起千重浪，使国民抗日军上上下下为之沸腾。共产党员韩庄事后说：“每个人都兴奋着，热血沸腾着，好像有了八路军就有了靠山了，有了八路军就能把日本鬼子吃了似的??充分表现了全体指战员对于八路军的仰慕，是自觉的、自发的内心流露。”司令赵同及一些行为不端的人却存有戒心与疑虑。但是，鉴于队伍内部要求与八路军会合的呼声太高，加之日军又在策划新的进攻，赵同只好同意与八路军接触、会合，联合作战。
国民抗日军在共产党员的推动下，经过聂荣臻和军区其他领导人的教育帮助， 1937年12月编为晋察冀军区第五支队。先后在五支队任领导工作的共产党员有王远音、汪之力、陈大凡、高鹏、史进前、王建中、纪亭榭等。
后来除了赵同因个人野心未能实现而离队外，第五支队在平西地区积极抗日。1938年8月，五支队编为一分区三团，在抗日战争中屡立战功。
发展抗日武装，聂荣臻更加重视发动群众参加八路军。他在《抗日模范根据地晋察冀边区》一书中说：为了完成在敌后开展大规模游击战争的战略任务，“我们首先集中力量，进行发展武装和巩固部队的工作。我们用了全力，广泛地发动群众的武装，普遍组织游击队、义勇军??并紧紧抓住了群众抗战的热情，使他们踊跃地加入军队，发动胜利的游击战争”。“这些群众团体，自他们建立之日起，即以扩大武装作为中心工作之一。仅农民救国会在成立以后不久的时间内所发动的武装来说，已达1.5万余人；工人救国会并且单独组织了工人游击队。”还有“阜平营”、“回民支队”等等，不一而足。他对四分区平山青年组成的“平山团”，大加赞扬。1939年5月他曾发布通令，嘉勉平山团作战英勇，屡立战功，是“捍卫民族、捍卫边区和捍卫家乡的优秀的平山子弟兵”，号召全边区青年向平山团学习。
缺乏干部，是晋察冀初创时期的最大困难。聂荣臻对培养干部的工作一直抓得很紧。1937年12月，他以一一五师教导营为基础，在阜平成立了军政干部学校，任命热心于教育事业的孙毅为校长。曾在红军中担任师政治委员的郑维山， 1938年年初一到晋察冀，就被派到军政干校当主任教员。这所速成性质的学校，学制每期只有3个月，一年内培养了1400多名干部。1939年2月，抗日军政大学第二分校由校长陈伯钧率领教职员和学员2000多人来到冀中，聂荣臻热情欢迎和多方关怀。一个月后，军区部队进行整编，聂荣臻指示成立军区教导团，由唐延杰兼团长，郑维山任政治委员，专门培养连排干部。抗大二分校、军政干部学校和军区教导团，为晋察冀军区培养了大批干部，满足了各方面的需要。
在敌后，聂荣臻深感困难的另一个问题是武器弹药的严重短缺。面对现实，他要求各部队发动群众，收集散在民间的各种枪支弹药，以应急需。1938年5月，他指示在五台县西会村成立了军区的第一个枪械修造所，修造步枪、手榴弹，复装子弹①等。11月初，鉴于武器弹药方面的困难越来越大，他曾向总部和中央报告：“偌大的部队全无接济，特别是弹药的补充，这是十分重要的问题??八路军抗战至今，装备上无丝毫改进，我们不应长以默言。
我固非唯武器论者，但处于现代战争，不能完全否认现代应有的装备。不可忘记，我们曾经被堡垒屈服过，日寇正利用过去国民党对我之办法，今天由于他兵力问题，还不是那样普遍，但将来是可能发展。并且当与敌人进行较大或长久性的战斗时，因为装备问题使我无还手之余地。甚至战斗（只能得到）部分的胜利，而不能扩展应有之战果。这些困苦当然不能全部解除，但我们应当有必要之要求，更换一部分太坏的步枪，增多自动火器??”②很明显，聂荣臻是希望中央向国民党当局交涉，给八路军解决些困难。
但事实与他的愿望相反，这个报告没有任何结果。于是，在他的授意下， 1939年4月，军区军事工业部成立了，刘再生、杨成分别被任命为部长和政治委员。不久，聂荣臻指示军事工业部对军工厂进行整编。其方针是：集中领导，分散经营，就地取材，小型配套。后来，该部发展成拥有6个修械厂， 1000多名工人的军工生产部门，能修枪械、制造黑色火药和手榴弹，在一定程度上缓解了边区武器弹药紧缺的困难。第二十七章扩大武装力量抗战开始不久，晋察冀部队在敌后就有了迅猛发展，由于新成员大量涌入，加上统一战①复装子弹，即利用旧子弹壳改造成的步、机枪子弹。
②聂荣臻给朱德、彭德怀、毛泽东的电报，1938年11月2日。
线的新环境，致使纪律涣散等各种不良倾向开始出现，部队的中共党员人数也太少。长期担任政治委员的聂荣臻敏锐地看到了这个苗头，知道这是革命军队的致命伤。于是， 1937年12月25日，在百忙中他主持了军区第一次政治工作会议。军区的政工干部欢聚一堂，刚率部到达平汉路西的吕正操和孙志远也参加了会议，大家对加强部队政治工作的问题进行了热烈讨论。聂荣臻在讲话中，要求各部队必须下大力气整顿组织纪律、作风方面存在的问题，要用红军的优良传统和制度来教育和约束部队，清除腐败不良分子。这次会议以后，部队在整顿和训练中建立了人民军队的各种制度，党组织也得到了发展和巩固。到1938年1月，全军区发展中共党员4800多名，党员在连队中的比例逐渐达到20％至35％。同时，清除了混入军队的各种不良分子1300多人，纯洁了内部。大多数部队面目一新，大大提高了战斗力。