9月16日，八路军总部发出《百团大战第二阶段作战命令》，命令贺龙第120师集结主力彻底破坏宁武至轩岗段铁路，截断同蒲路北段的交通；聂荣臻晋察冀军区集结主力破坏涞（源）灵（丘）公路，并夺取涞源、灵丘两城，以打开边区的局面，另以有力之一部于同蒲铁路东侧积极行动，配合贺龙部作战；刘伯承、邓小平第129师集结主力进行榆辽作战，收复榆社、辽县两城。9月20日开始第二阶段作战。
聂荣臻部主力迅速由正太路北上，执行涞灵作战任务。涞源、灵丘地区驻有日军独立混成第2旅团和第26师团各一部，计1500余人，另有伪军1000余人。敌人的一些据点已经深入到抗日边区内部。9月22日，杨成武率部队奇袭涞源城，经过一夜激战，1团攻占了城关东、西、南三面，大部守敌退进城内防守。2团、3团在进攻时，遭敌猛烈反击和施放毒气。杨成武改变部署，由1团2团的一部攻击涞源城东的敌三甲村据点。这个据点工事坚固，守敌有日伪军80余人。
23日晚，我军以炮兵配合，猛攻敌人碉堡，冲进村庄，激战数小时，将守敌全部歼灭。
我军第3团集中力量攻击东团堡，这是由日军士官组成的井田部队，抵抗十分顽强，并不断施放毒气弹。我军勇猛冲击，激战1昼夜，残敌退出堡垒，凭村几间房屋死守，并继续施放毒气，组织反扑。我军干部战士几度苦战，伤亡很大，不少人中毒，不得不撤到村边。
25日下午，我军再度发起猛攻，同敌人展开白刃战。经反复冲杀，敌人支持不住，又不愿投降，遂将据点所存武器、物资、粮食全部纵火焚烧，然后跳火自尽。
聂荣臻部先后攻克了南坡头、抢风岭、青磁窑等据点，并袭击了金峰店、黄台寺等地日军。
刘伯承、邓小平部发动了榆辽战斗。榆辽公路处太行山腹地，是日军切开太行山根据地的刀子，一路修的全是碉堡，粮食弹药很多。刘、邓部一路攻坚打过去。那榆社守敌400余人，以坚固碉堡和有利地形顽抗。刘邓部把几架梯子绑在一起，战士头顶湿了水的棉被，勇猛爬到碉堡上，一下捂住枪洞，将敌人火力压住，部队随即冲过去，同敌展开白刃战。工兵从大碉堡下面往上挖洞，用炸药把碉堡和工事全部炸飞。敌人400余人被全歼。
冀南军区部队、太行和太岳部队，对各交通线展开连续破击，并袭入长治机杨。
晋西北破袭了同蒲路忻县至朔县段，一度控制了朔县至原平间的铁路。
百团大战一、二阶段打了一个半月，华北日军大乱，伪军大动摇，成批投降。日军没想到八路军有如此力量和手段，恼羞成怒，急忙拼凑调遣兵力，集结十几万人，在飞机、大炮掩护下，以坦克开路，向我晋东南、晋察冀、晋西北等抗日根据地进行报复“扫荡”。
彭德怀副总司令命令部队进入百团大战第三阶段作战，挟胜势再歼来犯之敌。
敌第36师团、独立混成第4旅团各一部近万人，对太行山抗日根据地的榆社、辽县、武乡区进行连续“扫荡”，企图打击八路军总部等指挥机关和第129师主力。
我129师各部英勇地展开反“扫荡”作战。新编第10旅一部于和（顺）辽（县）公路之弓家沟设伏，歼灭日军一支运输队，击毁日军汽车40余辆。日军从水腰奔左会，我军拦腰一顿猛打，日军大乱，收拾队伍后再奔，又被我军追击。日军奔到关家垴一带山地，已狼狈不堪。我129师主力将日军包围于关家垴高地，炮兵对日军的前沿阵地猛轰，然后向日车冲锋肉搏，逐渐缩小包围圈，日军伤亡殆尽。
日军第36师团、第41师团、独立混成第9旅团各一部，共约7000余人，分路对太岳抗日根据地进行“扫荡”。敌军所到之处，均遭我军沉重打击，遂分途撤退。
敌伪1万余人进攻晋察冀的平西、北岳等地区，我军民英勇作战，给敌伪以严重杀伤。在晋西北、大青山、冀中、冀南等地，敌我均有局部“扫荡”与反“扫荡”战争多起，我抗日军民均取得反“扫荡”的胜利。
至1940年12月5月，历时3个半月的百团大战，遂告胜利结束。在整个战役中，共进行战斗1824次，毙伤日军20645人，伪军5155人，俘日军281人、伪军18400余人，日军投降47人，伪军反正11845人，拔除日伪据点2993个，破坏铁路474公里、公路1500余公里，车站、桥梁、隧道260余处，缴获各种火炮53门，长短枪5600余枝，轻重机枪200余挺，以及其它大批军用物资。共收复县城50余座，得以巩固的有近30个。其中太行山区有榆社、武乡、黎城、涉县等，太岳山区有沁源、浮山等，五台山区有阜平、灵邱、涞源等。在晋西、冀中、冀南、冀鲁豫等区均有县城收复和巩固。百团大战中，八路军伤亡2．1万余人。
百团大战是八路军在华北地区发动的一次大规模的进攻战役，数十万军民，与日本侵略军浴血奋战，表现了中华民族不屈不挠的英雄气概。百团大战的胜利，打击了敌人的侵略气焰，粉碎日寇紧缩我抗日根据地的“囚笼政策”和“迅速解决中国事件”的梦想。日寇华北方面军总司令多田骏因“囚笼政策”破产，而被撤职。日寇认识到，虽然国民党军队不堪一击，但共产党八路军是难以战胜的。
百团大战的胜利使全国军民欢欣鼓舞，国内空气为之一新。不仅震动了全中国，而且轰动了全世界。苏联、美国记者都作了连续报道。
东北的共产党组织，积极组织抗日武装力量。早在1936年6月，中共南满在吉林省金川河里召开了第二次代表大会，会议决定成立中共南满省委，杨靖宇为省委书记。同时决定成立东北抗日联军第一路军，杨靖宇任总指挥兼政委，王德泰任副总指挥，魏拯民任副指挥兼政治部主任。第一路军下辖第1、第2军，杨靖宇任第1军军长兼政委，王德泰任第2军军长、魏拯民为第2军政委。
抗联第一路军在西起辽沈，东至鸭绿江畔，北抵长（春）图（们）铁路的30余县广阔地域里，开展抗日游击战争。
这年冬天，日军调集南满16万人的日、伪联合部队，向辑安、临江、通化等县进行“冬季大讨伐”，宣称“剿灭南满红匪”，并悬赏通缉杨靖宇。杨靖宇为了使部队转移，自己率领警卫排30余名战士将敌人吸引到辑安县内。杨靖宇等藏在黄柏甸子附近的山中。敌军封锁、搜山。杨靖宇等机智地利用一破房挖洞藏身。敌人几次搜查均未发现，但仍不甘心，继续封锁、搜山。洞内的粮食吃光了，又无法生火和觅食，严寒和饥饿威胁着30多人的生命，杨靖宇带头撕下衣服里的棉花充饥，终于渡过了15个日日夜夜。第16天，敌人颓丧地撤退。
“七·七”事变后，第一路军很快发展到1．5万人。不料在1938年6月29日，第1师师长程斌在敌伪诱降下率部叛变，不仅供出第一路军的行动计划、部队的实力、活动特点、游击区建设等重要机密，而且派人到抗联策反，并为日伪军带路“讨伐”。第一路军为摆脱敌人包围，将部队转移到东部山区。
1939年，杨靖宇的第一路军先后奇袭桦甸，攻克辉南县、安图县、并围城打援，伏击敌人。这一年毙伤日伪军数千人，缴获各种步枪3000余枝，手枪百余枝、轻重机枪30余挺。
1937年秋，东北抗联第二路军成立，周保中任总指挥兼政委，赵尚志为副总指挥，辖第4、第5、第7、第8、第10军，和救世军、义勇军。第二路军的活动范围西起哈（尔滨）长（春）线东侧，北达松花江右岸，东抵乌苏里江畔的吉林省东部地区。
日本关东军纠集2．5万人“讨伐”宝清县内的抗联部队，抗联第5军第3师第38团一连共16人，于炭窑沟里头道卡子阻击日伪骑兵400余人。激战一日，歼灭日伪军100余人。
毙战马90余匹。我1连连长以下12人壮烈牺牲。战后，头道卡子被第5军命名为“十二烈士山”。
1938年6月底，第二路军向五常、舒兰方向西征失利。8月下旬，中共吉林省委书记、第5军政治部主任宋一夫叛变，给部队带来很大危害。第5军进入五常境后，被强敌追击，遂突围东返牡丹江地区。第4、第5军之妇女团东返时，在牡丹江支流乌斯浑河岸边与日伪军“讨伐”队遭遇，指导员冷云率7名女战士掩护大队突围，弹尽援绝，宁死不屈，毅然跳入乌斯浑河激流中，这便是著名的英勇悲壮的“八女投江”。
1939年3月，日伪军6000余人“讨伐”抗联第二路军。周保中在牡丹江西岸四道河子沟里召开中共吉东省委扩大会议，作出主力分路向外线转移的决定。4月初，部队开始向蛟河、舒兰地区移动。途中与日军伪军发生两次战斗，毙日伪军400余人。第二路军转移后，与第一路军取得联系，协同抗日。
1939年初，东北抗日联军第3、第6、第9、第11军合编为第三路军，李兆麟为总指挥，冯仲云为政委。第三路军1．6万余人活动在松花江下游、小兴安岭和松嫩平原的广阔地区，控制30余县。第三路军是一支英勇善战、敌人闻之惊心丧胆的部队，被日寇称为“北部国防线上的心腹之患”。
第3军仅在1938年就同日伪军作战427次，毙伤日伪军7600余人。第6军在汤原一带开展抗日游击战争，并建立了下江人民政府，日寇惊呼：“汤原地皮红透三尺！”1937年3月，关东军纠集1000多日军、2000余伪军，并有17名日本高级参事官，血洗汤原。是时，第6军参谋长冯治刚率领100余人留守在汤原附近，在敌我力量悬殊情况下，仍决定乘敌未站稳脚跟之际，夜袭汤原。我地下党先派十几人打入城内，作里应准备。4月7日晚10时，冯治刚100余人部队，在地方武装配合下攻城。里应外合激战通宵，攻进汤原县城，伪警察署被缴械，全歼县守备队，17名日本高级参事官当场毙命。缴获迫击炮4门，轻重机枪4挺，长短枪500余枝，子弹5万余发，并从监狱内救出300多人。
抗日联军神出鬼没，到处打击敌人。东北抗日联军12支队30多人夜袭肇源县城，从城西角翻过城墙，袭击县公署，解决200余名伪警察，尔后去攻打警察署。枪声在城里爆竹似地响起，城内日伪机关中的日军不是被毙便是被俘。抗日联军从监狱里放出百余名同志，部队即发展到200人并缴获了300余匹战马。黎明后，部队骑上战马，浩浩荡荡地离开肇源县城。
在江南活动的原红军游击队奉命组编成新四军。
原中央苏区主力红军长征后，留下来的红军和地方游击队在极端困难的条件下，依靠人民群众的支持和掩护，不断粉碎国民党部队残酷的围攻、屠杀、搜山，保存和发展革命力量。到抗日战争爆发前后，活动在南方的已有浙南、闽北、闽东、闽南、闽西、赣东北、赣粤边、闽赣边、湘南、湘赣边、湘鄂赣边、鄂豫皖、豫南桐柏山和琼崖等14个游击队和游击区。西安事变后，蒋介石采取“北和南剿”的方针。周恩来在同国民党谈判时提出将南方游击队改编为抗日部队，国民党不但不同意反而趁机变本加厉地对游击区进行大规模的野蛮的“清剿”。蒋介石密令南方各省“务必乘中央与共方谈判之机，消灭地方武装与地方组织”。蒋介石先后调集40多个师、60多个保安团，对南方8个省红军游击队实行“搜剿”、“追剿”、“堵剿”、“驻剿”。
1937年1至7月，国民党军队采用碉堡封锁、放火烧山、移民并村、大规模的屠杀、制造无人区等手段，疯狂地进攻游击区。各个游击根据地遭敌人破坏后，变成一片废墟，遍地是白骨。但游击区是“日搜夜剿人犹在，万死千伤鬼亦雄”。英勇的红军游击队和苏区人民同敌人展开了生死的搏斗。但是，到了7月11日，国民党军队突然停止了对游击区的进攻，并且撤走了。
负责领导南方各省游击队的中共中央分局书记项英和陈毅等在赣粤边游击区的梅山斋坑，已经两年多没能同中共中央取得联系。4月中旬，由于在国民党军中做兵运工作的陈宏被捕叛变，供出红军游击队的地下交通站以及项英、陈毅的活动情况和驻地。国民党军队悄然将梅山斋坑包围起来，项英等听到哨兵发出的鸣枪警报，拿起武器转到小山包上隐藏起来。300余人的国民党兵在方圆不到几百米的小山包上搜了近两个小时，却没搜到一个人。他们放火烧山，但火刚烧起来，天就下了一场大雨，把火淋灭，再点火烧山，火点不着了。天近黄昏，敌人撤走。
项英、陈毅等转移到离斋坑30多里的一座山里隐蔽起来。第二天，国民党军4个营把梅山包围起来，一直围了几十天，把山里的野猪、山牛打得满山乱跑。项英、陈毅带着机关人员，忍饥耐困翻山越岭，在荒无人烟的大山里转来转去，鞋都磨穿了两双，也没跳出包围圈，只到7月11日，才得解围。
项英、陈毅在报纸上看到大庚、南康、信丰3县的国民党县长联合发表的《告中共同志书》，其中有：“中共同志素主抗日救国”、“爱国志士无限钦佩”等语。项英、陈毅等决定一面下山同国民党谈判；一面招兵买马，扩大部队，准备抗日。
陈毅先同大余县县长彭育英、国民党46师代表和江西省政府代表谈判，尔后又同项英一起赴南昌同江西省政府谈判，在国民党军队从游击区撤退、释放政治犯、在南昌建立红军游击队接洽处等6个问题上达成协议。是时，项英得知博古、叶剑英等在南京同国民党就国共合作问题继续谈判，便立即通过博古传电毛泽东、张闻天，报告情况，同党中央取得了联系。
周恩来在“七·七”事变后，多次同蒋介石在谈判中谈及南方红军游击队改编问题，双方同意南方游击队改编为1个军，但谁任军长，双方意见不一致。
7月下旬，周恩来在庐山和蒋介石谈判后来到上海，在上海会见了怀着强烈抗日救国热情刚从澳门回到上海的叶挺。这位北伐名将在参与领导南昌起义和广州起义之后，流亡海外，与党失去联系，已不是共产党员。周恩来估计由他出来主持改编南方红军游击队，蒋介石也许能够接受，于是便同叶挺商量。叶挺欣然接受。
叶挺根据周恩来的意见，直接去见蒋介石，提出将南方红军游击队改编为新四军的建议。蒋介石果然同意，在没有同共产党协商的情况下，任命叶挺为陆军新编第四军军长。这些情况，项英、陈毅并不知道。直到11月初，叶挺去延安，毛泽东等欢迎叶挺担任新四军军长。项英此时也到了延安，正式商定组建新四军问题。12月14日，中共中央决定成立中共中央东南局和中共中央军委会新四军分会。项英、曾山、陈毅、方方、涂振农（后叛变）为东南局委员，项英为书记，曾山为副书记。项英、陈毅、张鼎丞、曾山、黄道为中央军委新四军分会委员，项英为主席，陈毅为副主席。
陈毅、张云逸、邓子恢、曾山等在10月中旬奉命召集南方各省游击队下山整编。因各个游击队流动不定，活动地区广阔分散，又长期失去联络，要召集起来，是个很艰巨的工作。他们披星戴月地奔走在各个游击区，但他们冒着生命危险，说服游击队下山，因为有些游击队认为同“围剿”红军的国民党讲统一战线，就是向国民党投降，因而拒绝停止土地革命，拒绝下山改编。陈毅派人去动员他们下山，结果不少人被游击队当作“叛徒”杀害了。中共皖浙赣省委书记关英，被戈阳磨盘山一支游击队杀了；红军16师政委明安娄和中共鄂东南特委书记林美津，被赣东北的游击队杀了；湘南游击队支队长曹树良，被湘赣边的游击队杀了。
陈毅十分痛惜和焦急，决定亲自去这些游击队。1937年11月中旬，陈毅坐着轿子来到湘赣边九龙山游击区，游击队参谋长段焕竞和政治部主任刘培善接待了他，他们不认识陈毅，听陈毅说得很有道理。但他们一想到蒋介石连做梦都在想消灭游击队，又觉得同他合作是不可能的。而且前不久，还发生过这样一件事情，有个自称由湘鄂赣党组织派来的人，和游击队联系，他走了不久，国民党军队就跟着来搜山了。他们怀疑陈毅可能不是党代表，而是“叛徒”，决定把陈毅送到省委，请省委书记谭余保处理。
陈毅被送到中共湘赣临时省委所在地甘子山，被捆了起来，绑在竹棚子一边。省委研究对他的处理时，陈毅都听得见。他大声说：“不能杀，杀掉我，你们要犯大错误。”
次日，陈毅被带到棚子外边树林里进行公审，他借机和谭余保就抗日、恢复井冈山根据地、阶级斗争、国共合作，游击队改编等问题，展开辨论。一部分人被陈毅说服了，建议将陈毅关押几天，看看山下敌人的动静再作处理。
在以后的几天中，谭余保又和陈毅谈过几次，逐渐感到对陈毅的怀疑未必妥当。山下的国民党军队不仅没来剿，反而撤退了。谭余保便派一个交通员去吉安了解情况。交通员从吉安新四军通讯处回来，带着中共中央文件，谭余保激动得潸然泪下，连声说：“我鲁莽，险些误了大事。”并亲自给陈毅松绑，道歉。
陈毅却说：“你是个坚决的老革命，是个好同志。”
1937年12日25日，新四军军部在汉口成立，1938年1月6日移至南昌，军长叶挺，副军长项英，参谋长张云逸，副参谋长周子昆，政治部主任袁国平，副主任邓子恢，共辖4个支队，全军1万余人。第1支队司令员陈毅，副司令员傅秋涛，辖由湘鄂赣边游击队编成的第1团和由湘赣边、赣粤边、赣东北游击队编成的第2团，共计2300余人。第2支队司令员张鼎丞、副司令员粟裕，辖由闽西游击队、闽赣边游击队编成的第3团和闽西（一部）、闽南、浙南等游击队编成的第4团，计1800余人。第3支队司令员张五逸（兼）、副司令员谭震林，辖由闽北游击队编成的第5团和由闽东游击队、闽北游击队（一部）编成的第6团，共计2100余人。第4支队司令员高敬亭，辖由鄂豫皖边区游击队编成的第7团、第9团和由豫南桐柏山游击队编成的第8团，共计3160人。军部直属机关、部队980余人。新四军驰骋在大江南北，在敌后开展游击战争，使日军食寝不安，汉奸组织闻风丧胆。
新四军在1938年4月下旬，从第1、第2、第3支队抽调一部分力量，组成先遣支队，在粟裕带领下向苏南敌后进军。陈毅率领第1支队、张鼎丞率第2支队，也挺进苏南。三军会合后，即向溧（水）武（进）公路以北，宁（南京）杭（州）公路以东的镇江、句容、丹阳、金坛地区展开，主要活动在南京、秣陵关、溧水之东北地区，以主力在茅山山脉及溧水一带，以天王寺以南的山地建立根据地。又以小部队向句容、溧水、南京之线游击，歼灭敌军，击毁汽车。
陈毅多次与丹阳抗日自卫团管文蔚联系，帮助管文蔚部改编为江南抗日义勇军挺进纵队，下设6个支队，委任管文蔚为司令员，派一批共产党干部到各支队工作，部队发展到4000余人，使这支部队成为共产党领的抗日武装。