八路军115师在平型关战役后，深入敌后，开展广泛的敌后游击战，以山西、察哈尔、河北3省交界为中心建立了晋察冀根据地。120师在晋北管涔山脉地区，开辟了晋绥根据地。129师以太行山为依托，建立了晋冀豫根据地。新四军在华中建立了根据地。八路军留守兵团和地方武装扩建了陕甘宁根据地。
太原失守后，阎锡山撤到晋西，后来又撤过黄河，到了宜川。至此，晋察冀3省边界完全被分割在敌后。
平型关战役后，115师主力由晋东南转往吕梁山，开辟晋西北地区，留下杨成武的独立团和骑兵营、教导队的两个分队、总部特务团政治处、供给处和1个营部又两个连、343旅工作团，以及120师359旅工作团、685团1个连和随营学校，总计3000人。这支部队在聂荣臻指挥下，各支小部队广泛出击，大刀阔斧地开拓晋察冀抗日根据地。
杨成武的独立团夜袭涞源城，守城日军仓皇溃逃，涞源遂告光复。随后又进行了冯家沟伏击战，以小的代价，毙伤300余名日军，并乘胜收复了广灵、灵丘、蔚县、阳原、浑原、易县等县城。尔后向平西、平绥路和平汉路北段挺进，在晋察边区的北部解放了一大片地区。杨成武的独立团由出征时的1700余人，发展到7000余人。八路军总部将杨成武的独立团扩编为八路军独立第1师，另外还组建了游击支队和县大队。
聂荣臻派出的另外几支小部队也取得了可喜的成就。
由赵尔陆等人率领的工作团和少数部队，活跃在五台山以西地区。
由王平等人率领的120师359旅工作团和刘云彪率领的骑兵营，以阜平为中心，成立了半政权性质的战地动员会，建立了若干支抗日义勇军和游击队，以阜平为中心的晋察冀边区的腹地逐步稳定下来。
由周建屏和刘道生等人率领的工作团和小部队，活跃在正太路以北的山地，在平山建立了以平山子弟为主的平山团，并在井陉、获鹿、正定、平定、阳泉、寿阳等地农村，组织起若干支游击队。
共产党延安总部决定成立晋察冀军区，聂荣臻为军区司令员兼政委。晋察冀军区下设4个军分区：第一军分区司令员杨成武，政委邓华；第二军分区司令员兼政委赵尔陆；第三军分区司令员陈漫远，政委王平；第四军分区司令员周建屏，政委刘道生。
1938年初，晋察冀边区政府成立，宋邵文为主任委员，胡仁奎为副主任委员。
晋察冀根据地不断巩固和发展，冀西、冀中、平西、平北、冀东几个地区很快连成一片，面积达20余万平方公里，抗日民主政权扩大到80余县，人口约1200万。山地和平原相互支援，互为依托。山地是后方，平原是粮仓。平原上的斗争不好坚持的时候，部队便撤到山岳地区休整；山地需要粮食、布匹的供应，平原地区给予大力支援。
晋察冀根据地举世瞩目。大后方民主人士和国际朋友纷纷来晋察冀考察访问，他们惊奇地提出：“怎么能在敌后建立起这样一个面积广阔的抗日根据地？”
聂荣臻回答说：“这没什么奇怪的，关键的一条就是发动群众。八路军积极抗战，想方设法保护人民群众的生命财产，自然会得到人民的拥护。日本鬼子已经打到老百姓的家门口了，他们吃睡都不安宁，八路军来了，他们就吃得香，睡得甜了。”
在一些偏僻的深山区内的高山峡谷里，过去人民和外界隔绝，形成了一个独立世界。如房山、宛平同涞水、涞源交界的“野三坡”，几十个村子，男人不剃头，女人不裹脚。就是燕王扫北的时候，也没有到过那里，清朝、民国的统治都始终没有进入这一地区。八路军来了，抗日政府帮助他们发展生产，改善生活，帮助他们的子女读书学文化，八路军医疗队免费为老百姓看病。他们说，以前哪朝哪代的政府都不把我们当人看，只有八路军来了，才有了做人的资格。八路军的后方机关钻进这些深山沟，老百姓热情欢迎。
人民群众充分发动起来后，日军不敢贸然突进，“扫荡”又往往扑空。汉奸、特务、土匪也无法在根据地活动。日军101师团长桑木说：“晋察冀的组织是神秘微妙、不可理解的组织，老百姓可以随便用眼色或手势传达八路军要知道的消息，速度比电话还要快。”
日寇在1937年11月至1938年春，调集重兵，对晋察冀边区进行多路进攻和围攻，结果次次失败。1938年秋，日寇为实现“南取广州，中取武汉、北围五台”的作战计划，集中101师团、109师团、26师团和独立第2、第3、第4混成旅团，共计5万多人，采取分进合击，多路围攻，步步为营的方针，对五台和冀西山区进行围攻。在48天中，边区军民同日军共进行了大小战斗130余次，毙伤日军旅团长常冈宽治少将以下5200余人。日军“北围五台”成为梦幻泡影，落了个损兵折将的下场，最后不得不狼狈逃窜。
中共中央派原红军团长孟庆山回冀中平原的高阳、蠡县、安新、任丘一带组织抗日武装，开展游击战争。孟庆山很快组织了一支武装力量。孟担任中共河北省保属特委和军委书记。
原东北军53军第691团团长，共产党员吕正操，在国民党军队狼狈败退的时候，率部回师北上，进入冀中地区，受到孟庆山等人欢迎，这支部队改编为人民抗日自卫军，部队由1000人发展4000多人。吕正操根据聂荣臻的指示，率领自卫军两个团和两个支队到冀西整训，其余部队留下编为游击军，由孟庆山任司令员。
人民自卫军整训后返回冀中，在短短的3个月中基本肃清了冀中腹地的土匪、汉奸、联庄、会道门等复杂的地方反动武装。人民抗日武装发展到3．6万多人，根据地扩展到西起平汉路，东至津浦路，北至平津路，南达沧石路，辽阔富饶千里的冀中平原都为抗日武装控制起来，并建立了38个县的抗日政权，成立了冀中区的政权机关——冀中行政主任公署，吕正操为公署主任。冀中部队改编为第3纵队，吕正操任纵队司令员兼冀中军区司令员，孟庆山为纵队副司令员兼冀中军区副司令员，王平为纵队政委兼军区政委。
1938年11月至1939年4月，日寇集中优势兵力，用“鲸吞”式的围攻对冀中根据地连续进行了5次较大规模的“扫荡”。冀中部队连续击溃日寇的两次“围攻”。八路军120师抵达冀中，此时，敌人的第三次围攻开始，120师同冀中部队配合，连续击溃日寇的3次围攻。
冀中军民在5次反“围攻”战役和反“分散扫荡”中，对敌作战322次，毙伤日伪军4440人，俘日军12人，俘伪军1310人，缴获步枪1122支及大量军用物资。冀中的抗日武装力量已发展到6．3万人，拥有步枪5万枝，各种机枪515挺，迫击炮21门，野炮3门，平射炮2门。另外还组织了大量的游击队和民兵。
在冀中抗日武装迅速发展的同时，北平郊区和河北其它地区的群众抗日斗争力量也迅速发展起来。活动在北平郊区和平绥路一带的平西抗日武装，攻克了德胜门外北平第二监狱，救出受难同胞200余人。中共直南特委在内黄、濮县、滑县等地，成立了以唐哲民为司令的抗日游击队。正太路和阳泉煤矿的工人，组成了工人游击队，活动在太谷、榆次地区。
共产党员、北平大学教授杨秀峰在赞皇、元氏一带成立了“河北民军冀西游击队”。中共磁县特委成立了抗日政府，建立了民军第4、第13、第14支队、磁县警备队、抗日义勇军平汉纵队。
在冀东地区，共产党员李运昌等以开滦煤矿工人为主体，成立了华北人民抗日自卫委员会冀东分会，开展了游击战争。
人民抗日自卫武装控制了9个县，有1．5万余人。
中共中央决定，由贺龙的120师雁北支队和晋察冀军区第一分区的1个支队，在平西组成八路军第4纵队，宋时轮任司令员、邓华任政委，向冀东挺进。第4纵队越过白河，进军冀东，连克延庆、昌平。4纵队的1个大队在昌平、滦平、密云地区开展游击战争，为开创北平根据地打下了基础。4纵队又配合中共冀热边特委在冀东各县发动抗日大起义，攻占了玉田、乐亭、芦龙、蓟县、平谷、迁安等县城，捣毁了伪政权。抗日武装达10余万人，共产党的部队约4万人。
在山东，中共胶东特委发动了天福山起义，攻入牟平县，成立山东人民抗日救国第3军。掖县、蓬莱、黄县的地下党也发动了武装起义。胶东各地起义部队整编为第4路，共7000余人，由第3军军委会领导。共产党还帮助范筑先（原国民党山东第六区专署专员）将鲁西北的游杂武装改编为30个支队。中共鲁西北特委还独立组织了一支抗日武装，编为范部的第10支队。1938年1至5月，山东人民抗日武装作战百余次，解放了肥城、长山、邹平、淄川、盐山，乐陵、博山等15座县城，声威大振。抗日武装力量发展到4万人。
1939年5月初，日军第109师团、独立混成第3旅团各一部约5000人，多路向台怀等地合击，并企图控制各地要点，“扫荡”五台山根据地。我军灵活使用游击战术，寻机歼敌。
5月14日，正在豆村镇附近进行整训的贺龙师第359旅一部，在上下腰涧附近与正在撤退之敌展开激战，歼敌千余人。易县之敌占领大龙华，涞源之敌占领上庄，企图修筑易县到涞源公路，断我平西与北岳区之联系。5月20日，我军强袭大龙华之敌，歼敌数百人。此后，敌又集中4000余人向易县、满城、徐水一带“扫荡”。我军经20余天战斗，歼敌1000余人，粉碎了敌之”扫荡“。
9月25日，日军独立混成第8旅团，协同部分伪军共1500余人，侵占灵寿西北之陈庄。是时，从冀中调至北岳区的贺龙第120师和晋察冀军区部队一起，力战该敌。120师主力进抵陈庄附近，以一部袭扰陈庄之敌，主力在东西寺家庄和冯沟里设伏。敌向东撤退，陷入我军包围。我军立即向敌发动总攻，将1500余人敌军全歼，毙敌独立混成第9旅团长水原。
这年深秋，中共中央北方分局在阜平青山村召开组织工作会议，杨成武风尘仆仆地从前线来到会场，报告说：
“坐镇张家口的伪蒙疆驻屯军司令兼独立混成第2旅团长阿部规秀中将，派辻村宪吉大佐率领日军第一大队和1个炮兵中队、1个机枪中队及伪军1000余人，已经进驻涞源县城。并有经白石口、鼻子岭向我银坊镇地区扫荡的迹象。”
彭德怀、贺龙、聂荣臻、关向应决定歼灭这股敌人，于是布下阵地，诱敌歼之。
骄傲狂妄的辻村大佐，为“天皇”立功心切，率领日军600余人，行军和休息不派警戒，对两侧也不搜索，竟大摇大摆地向前急进。其先头部队进到雁宿崖与张家坟之间时，已开始入杨成武部队的伏击圈。我军向敌军展开一场激烈的拚杀，600余名日军除13人当了俘虏外，其余日军的尸体散布在山谷里。
骄横成性的日军一旦吃了亏，总是要重整兵力，前来报复。我军立即重新布阵，以小部兵力在白石口一带迎击敌人，以1个支队在银坊镇北出击，诱敌东进，待敌进至黄土岭一带有利地形时，集中主力将其包围歼灭。贺龙的特务团从神南北上，参加战斗。
阿部规秀统领的独立混成第2旅团，在日军中堪称精锐，而阿部又是在日本军界享有“名将之花”盛誉的将军。他擅长运用“新战术”，被称为“山地战专家”的“俊才”。他以伪“蒙疆驻屯军总司令”的身份兼任独立混成第2旅团长。日军的旅团长一般由少将出任，中将够得上荣膺师团长之职了。阿部还担任北线进攻边区总指挥。辻村宪吉大队被歼，他便于第2天亲率1500余人的“精锐之师”，沿着辻村宪吉走的旧路，进行报复性的“扫荡”。
11月5日，阿部规秀率部向白石口前进，受我军引诱，于次日进入黄土岭一线，我军将其包围。7日下午，我军伏兵四起，向敌军猛烈冲杀。敌军受到突然袭击，阵势大乱，急忙抢占了几个山头，企图冲出包围。我军紧缩包围圈，同敌军展开激烈的山头争夺战。阿部规秀被我军发射的炮弹击毙。日军失去指挥官，极度恐慌，几次突围，均被我军击退。日军用飞机空投了新的指挥官，又派110师团和26师团，前来增援，企图在我军包围圈外形成一个更大的包围圈。我军将阿部规秀大部歼灭后立即跳出包围圈，脱离战场。
黄土岭战斗历时6天，共歼日军1500人，并缴获大批武器和军事物资。
阿部中将被击毙，日本朝野震动，陆军省发布了阿部规秀阵亡公报。在华北战场上，击毙日军中将指挥官还是第一次，在中国人民抗战史上也是第一次。
八路军刘伯承129师，根据毛泽东创建以太行山为依托的晋冀豫抗日根据地的指示，立即开往山西前线，大刀阔斧地开创根据地。1938年2月，日寇集中3万人，向晋南发动进攻。国民党军队望风披靡，不战而溃。八路军英勇出击，寻机歼敌，在井陉至阳关一带歼日军1个加强中队后，即转师南下，于3月16日袭击黎城，设伏神头，迅速干脆地歼灭了由潞城出援之敌1500余人。尔后又在黎城、涉县间的响堂铺地区布下伏兵，将由黎城东开的敌汽车180余辆全部烧毁，全歼其掩护部队4000余人。
刘伯承129师主力三战三捷，日军感到对它威胁太大，于4月初集中3万多人，兵分9路围攻，合击129师主力，刘伯承、徐向前率部转出敌人的合击圈，于4月16日，在武乡长乐村地区抓住敌军一路，经过一天激战，歼敌2000余人，给日军108师团以严重打击，其他各路敌军即纷纷回窜。我军乘胜追击，连克长治、沁县等18座县城，将日寇赶出晋东南。
从1937年冬至1940年，以太行山为中心的太行、太岳、冀南、冀鲁豫几块抗日根据地都迅速地创建并发展起来。东至津浦路，西到同蒲路，北至沧石路、正太路，南至黄河、陇海路的广大地区，成为敌后重要的抗战基地。
1938年底，八路军山东纵队成立。在此后的一年内，山东纵队共作战2000余次，毙伤伪军4．1万余人，克复过县城和重要市镇20余座。
罗荣桓率领115师1个旅进入冀鲁边和微山湖等地区，使山东抗日斗争的局面为之一新。115师在鲁西、泰西、冀鲁边、湖西、鲁南等地开展游击战争。
鲁南山区多为地主和土匪武装所盘踞，传称司令的就有72个之多。他们多数接受国民党委任，称霸一方，欺压百姓，鱼肉乡里。其中还有一些与日寇密切勾结，搞得乌烟瘴气，民不聊生。1939年8月1日，田敏江带领600余日军，前有汉奸、骑兵开道，后边用两门1O多匹骡马拖的野炮压尾，中间步兵排成3路纵队，大模大样地向北取道靳口，朝梁山地区进犯。
115师东进支队几个连的兵力，在青纱帐里设下埋伏，日军来到那里，经过一场激战，全歼来敌。
梁山战斗后，敌军恼羞成怒，纠集5000多人，分乘160余辆汽车、坦克向梁山驰进。我军民依托青纱帐，沿途游击敌人，仅在一次战斗中就击毙敌200余人，击毁汽车10辆，坦克3辆，日军狼狈撤回。
在费县西部的白彦镇，地处抱犊崮与天宝山区中间，是汉奸孙鹤龄的老窝和日军控制鲁南山区的重要据点。115师调集686团、特务团、苏鲁支队等向白彦镇之敌发起猛攻。摧毁了白彦镇及其周围的据点。敌人受此打击后，集中兵力，连续数次向白彦进攻，双方反复进行争夺，在14个昼夜的3次激烈争夺战中，共毙伤日伪军800余人。
日军不甘心失败，集中第32、第21师团和独立第6、第10混合旅团各一部，共8000余人，分多路向犊崮山区根据地进行大规模的合围和梳篦“扫荡”，敌人大有一口鲸吞鲁南根据地之势。
我军民经过一个多月的英勇奋战，大小战斗30余次，毙伤敌军2200余人，彻底粉碎了敌人的“扫荡”。
1940年底，115师的1个旅发展到7个旅，共6万余人；
山东纵队也发展到5个旅又2个支队，共5万余人。在山东建立了14个专员公署和95个县的民主政权。
为了打破日军的“囚笼政策”，八路军总部在1940年7月准备组织一次交通大破袭战。朱德总司令、彭德怀副总司令，左权副总参谋长3人签发了预备命令，规定的战役目标：一是彻底破坏正太路若干要隘，消灭部分敌人，拔除该地区若干据点，开展正太路沿线两侧的工作，争取华北战局更有利的发展；二是打破日寇进犯西安的企图，影响全国战局。
正（定）太（原）路全长249公里，横贯太行山脉，是华北敌人重要战略交通线。在这条线路上，有日寇侵略战争所不可缺少的炼铁用煤基地阳泉和井陉煤矿。日寇第4、第8、第9混成旅团，分布在正太铁路沿线50个据点担任守备，还经常派装甲车巡逻。日军说正太路是一条“钢铁封锁线”。
八路军除破袭正太路外，还要破袭彰德以北的平汉路，归绥以东的平绥路，临汾以北的同蒲路，德州以北的津浦路、白晋路、德石路、北宁路、平古路等。这些交通线和地区驻有日军3个师团、5个独立混成旅团、2个联队、2个骑兵大队、2个步兵大队，计20万人，另有伪军15万人。
8月20日20时，八路军各部队开始向华北地区各主要铁路、公路交通线展开总破击战。八路军和地方武装参战的部队共计有104个团，20余万人，另有近30万民兵和群众参战，左权根据参战部队数目，称之为“百团大战”。
聂荣臻指挥19个团又5个游击支队和3个独立营，组成左、中、右纵队。右纵队的作战任务是破袭乱柳至娘子关段，奏效后向阳泉方向扩大战果；中央纵队指向娘子关至微水段及井陉煤矿；左纵队攻击微水至石家庄段的据点。
刘伯承、邓小平领导的晋冀鲁豫军区及129师部队，组成左、右翼破击队和总预备队，对正太路西段日军展开攻击。
贺龙的120师，以22个团的兵力破击同蒲路大同至阳曲段、汾（阳）离（石）公路全线。重点在阳曲南北，任务是阻敌向正太路增援。
总攻击开始，一颗颗攻击的红色信号弹腾空而起，划破了夜空，各路突击队象猛虎下山，扑向敌人的车站和据点，雷鸣般的爆炸声，一处接着一处，响彻正太路全线，整个正太路线和同蒲路都陷于八路军和人民群众大破袭的火网之中。攻占战略要地娘子关和歼灭井陉煤矿敌人的战斗，尤为激烈。
天险娘子关在抗战前，阎锡山已构成了国防工事，日军侵占后，又依据险峻的山谷，在原有的工事上，加修了34个大堡垒。在娘子关下的村子里还驻守了伪军一部。战斗开始后，我军先潜入娘子关村，将伪军击毙，然后依托村庄向据险顽抗的日军进行强攻。我军在日军浓密火力封锁下，前仆后继地向娘子关仰攻。架起的云梯被炮火打断了，就搭人梯上，用绑腿带连结起来，搭在悬崖攀登。日军据守有利地形，凭借优势武器，我军伤亡较大，正面攻击一时受挫。而由娘子关侧后迂回的部队，正好接近日军堡垒群附近，由翼侧向日军展开猛攻。
日军被突如其来的攻击打乱，慌忙实施反扑，经激烈的肉搏拚杀，日军被歼一部。我军乘势以手榴弹、手雷及缴获的爆破筒爆炸敌堡，经过3个小时的反复冲杀，终于夺取了日军的堡垒，攻占娘子关山头。黎明时分，据守娘子关的日军大部被歼，八路军胜利的红旗插上了被日军盘踞3年的天险娘子关。
八路军进击井陉煤矿的部队，事先已同矿区工人取得联系，在工人的配合下，进攻前就切断了矿区电源，靠夜幕掩护，向守敌展开猛烈进攻。经过一夜激战，于黎明即将敌人全歼，并夺回了东王舍新矿，对厂房、矿井给予彻底破坏，使其在半年多不能恢复生产，日军不能掠夺煤炭。
聂荣臻部破坏了正太路东段铁路，连续攻克娘子关、井陉、苇泽关、贾元、头泉等车站和据点、毙敌1000余人。冀中参战民工，一夜之间破坏了全部公路，冀东民工把七八个县内敌人的公路、电线，破坏得一干二净。使日寇变得道路不通，电话不灵。
刘伯承、邓小平部的各破击部队，乘夜暗绕过日军外围据点。对正太路西段铁路线上守备之敌猛攻。部队行动隐蔽，战斗动作勇猛突然，使日军措手不及，经一昼夜激战，攻克了芦家庄、和尚足、马首、桑掌等车站，歼敌有生力量。至8月25日，正太路西段，除少数据点外，已被我军控制。日军多次组织反扑，八路军在10多天内击毙反扑日军1100余人。
贺龙部夜袭同蒲路的一切据点，又于21日夜强袭忻（县）静（乐）公路重要据点康家会，全歼守敌。
百团大战第一阶段延续20余天，到9月10日共歼日伪军7000余人，攻克日军据点91座，破坏铁路300余公里、公路700余公里，并缴获大批军事物资，完成了预定的计划。