冀南抗日根据地的局面一经奠定，新的使命又促使他转向另一个战场。
1939年6月初，徐向前和朱瑞奉命一起去山东。这时，抗日战争的形势严峻复杂。日军除将武汉会战的兵力大部回调外，还从其它地区和日本国内调集一些部队，集中“扫荡”抗日根据地。汪精卫已经公开投靠了日本帝国主义；国民党顽固派积极推行“溶共、防共、限共”的反动政策，山东以沈鸿烈为代表的顽固派，推行限制八路军发展、驱逐八路军出鲁的政策。共产党领导的山东抗日武装力量，需要加强统一集中的领导。要徐向前和朱瑞到山东工作，中共中央计议已久。3月间，八路军总部、北方局领导人就向中共中央提议，派徐向前和朱瑞到山东加强并统一党政军的领导。此事直到6月才定下来。随同徐向前、朱瑞去山东的干部，多是朱瑞从八路军总部、野战政治部和抗大一分校选调的，有罗舜初、王建安、徐黎平等军事指挥人员，还有谢有法、刘志超、李竹如等政工干部。徐向前只带有一个警卫小分队、一匹马、一辆自行车。自行车在那时被看作是“洋玩艺儿”，这也是他唯一比别的干部“特殊”的地方。
徐向前一行从威县北东大成出发，一路向南，经威县南贺伍庄、馆陶南阎庙、大名东张铁集，从范县开始东进，走梁山、靳口、泗皋，在楼德以西过津浦路，继续向东，经东、西石莱、白马关，于6月29日到达沂蒙山区的代庄，与郭洪涛（中共中央山东分局书记，原为苏鲁豫皖省委书记）、张经武（山东纵队指挥）、黎玉（山东纵队政治委员，原为山东省委书记）会合。
沂蒙山区位于山东中南部，因沂山、蒙山、沂河而得名。荀况、诸葛亮、王羲之、刘勰、颜真卿等著名历史人物，有的出生在这里，有的曾在这里施展过才华。诸葛亮出生的古阳都城，就在沂南县的前后黄疃地方。现在，这里成了山东军民抗击日本侵略军的指挥中心。
徐向前、朱瑞到代庄的第二天，原在山东的几位领导人给他们汇报了情况。郭洪涛报告了山东根据地开创经过及反“扫荡”经验，张经武报告山东军事问题，黎玉讲了山东纵队的政治工作。
在徐向前到山东之前，黎玉和张经武领导的山东纵队有2.5万多人，开辟了沂蒙山区和胶东等根据地。罗荣桓和陈光率领的一一五师一部，创建了泰西根据地，后又进入新（泰）宁（阳）费（县）泗（水）边一带，接着向鲁南抱犊崮山区发展。还有肖华率领的挺进纵队在冀鲁边一带活动。这些根据地和游击区，是山东人民和共产党领导的山东境内各部队进行抗日战争的主要依托。
徐向前虽是初到山东，但他在一年以前却己参与了开辟山东抗日根据地的工作。在冀南工作期间，他曾两次邀见聊城专员范筑先，与其建立了统一战线关系，并指挥津浦支队活动在高唐、夏津一带，与范筑先相互配合，坚持鲁西北的抗日斗争。
张经武、黎玉1938年8月下旬从延安带160多名干部去山东，10月下旬经冀南到徐向前那里。当时总部拟从津浦支队抽一个营去山东作基干，徐向前考虑山东游击战争战略地位重要，是向苏、皖发展的一个重要通道，又是毛泽东等中央领导十分关注的地方，曾全力予以支持。
开辟冀鲁边，也是徐向前对山东根据地建设的一个重要贡献。1938年5月中旬，徐向前根据毛泽东等领导人的指示，曾与陈再道、宋任穷提出了组织一个纵队出胶济路南活动的方案，得到刘伯承的赞同，后来改为派曾国华支队和孙继先支队出兵天津以南、旧黄河以北的冀鲁边一带。出发前，徐向前和当时任冀鲁豫省委书记的李菁玉研究决定，由省委宣传部部长马国瑞负责领导这两个支队。徐向前对马国瑞说：“你带五支队和津浦支队到冀鲁边一带，开辟冀鲁边区的工作。战略上以乐陵为中心，先向北发展，建立津南政权，然后向南发展，搞黄河以北的鲁北一带，与清河区打通。”按照徐向前的部署，马国瑞率曾国华、孙继先两支队于6月30日过津浦路，进入冀鲁边区。接着肖华率一部来到这里。各路抗日武装相配合，先后在新海、南皮、宁津、吴桥一带，接连打了几个胜仗，冀鲁边的抗战局面得以迅速展开。9月16日，徐向前、陈再道、宋任穷、刘志坚给党中央写信，提出“津浦路东以肖华、符竹庭、马国瑞、杨靖远、李启华等五同志组织军政委员会（实际是八人，后增了曾国华、孙继先、邢仁甫），肖华为书记，统一军政党领导”
的建议，得到中央批准。徐向前并向中央和总部提出整编冀鲁边部队，组成八路军挺进纵队，由肖华任司令员的建议，也得到批准实施。到1939年上半年，冀鲁边区的武装力景已扩大到2万余人，并发展到津南、鲁北广大地区。
徐向前到山东，正赶上日军对鲁中地区发动第一次大“扫荡”。这次“扫荡”是6月1日开始的。日军2万余人以津浦、胶济、陇海路东段及烟（台）
潍（县）公路要点为出发地，分十路合击沂蒙山区。驻扎在莒县、沂水、蒙阴等地的国民党军队刚一接触就溃散了。日军“扫荡”的巨大压力，全由共产党领导的根据地军民承担。徐向前听了情况介绍之后，即全力投入反“扫荡”的指挥。
当时山东纵队已有10来个支队，3万多人，但成立时间短，战斗经验少，干部缺，装备差，头一次遇上敌人这么大规模的进攻，处境非常艰难。好在沂蒙山区地形便利，不像平原地那样无依托，加上部队指战员多是本地人，熟悉地形、民情，借助青纱帐和群众掩护，辗转游击，顽强地抗击着敌人的进攻。有一个18人的小分队，在岱崮山抗击500多日军的进攻，最后被逼到一个断崖上，子弹打光后全部跳崖牺牲，被誉为“十八勇士”。
“扫荡”延续到7月中旬。反“扫荡”一结束，徐向前即开始着手统一建制，健全领导机构。8月，经中央批准，正式组成八路军一纵队，徐向前任司令员，朱瑞任政治委员，统一指挥山东和苏北的八路军各部队。原苏鲁豫皖省委改为山东分局，由郭洪涛、徐向前、朱瑞、罗荣桓（一一五师政委）、黎玉、张经武、陈光（一一五师代师长）、彭雪枫（时任新四军游击支队司令员）组成，郭洪涛任书记。继而成立山东军政委员会，朱瑞、徐向前、郭洪涛、罗荣桓、黎玉为委员，朱瑞任书记。8月10日、18日，《大众日报》两次刊登徐向前、朱瑞的就职通电。电称：案奉国民革命军第十八集团军总司令朱、副总司令彭委令开兹委徐向前为第十八集团军第一纵队司令员，朱瑞为政治委员，统一指挥山东与苏北境内所有第八路军各部队，等因奉此，遂于七月中进抵鲁南就职视事。自维轻材，难膺重寄，绠短汲深，每虞殒越，惟了兹国难，只有勉竭驽骀，在总司令于、副总司令沈、韩诸公领导下，追随各友军之后，为坚持抗战，坚持统一战线奋斗到底。敬恳时赐南针，以匡不逮，谨电奉闻，仁候明教。
郑重地发表这样的通电，是出于开展对敌斗争、建立抗日民族统一战线的需要，有其重要的影响。徐向前到山东后，引起了军界、政界、舆论界的重视。在以后的数年间，国民党统帅部一直把山东八路军称为“徐向前部”。
在徐向前等到山东之前，山东地区曾一度受王明“一切经过统一战线”
主张的影响，在一些事情上未能坚定地贯彻独立自主方针。中共中央指出：山东方面过去退让太多，如接受取消北海行政公署及北海银行；未能于省府、县长西逃时普遍委任自己的县长；有些已委任的，复接受沈鸿烈命令撤销；秦启荣形同汉奸，多次向我进攻，未能给予有效还击。如上述情形不加改变，山东创造根据地与坚持抗战是要受挫折的。
徐向前认为，坚持独立自主最重要的问题是巩固与扩大根据地，建立与巩固抗日民主政权，发展与扩大共产党领导的正规部队与地方武装。
“根据地内有自己的政权，才能可靠。”这是徐向前在冀南同鹿钟麟较量得出的一个重要认识。他到山东后一个突出的感觉，就是政权建立的不够。
就因为这一点，他把鲁南称为游击区，或者称不是巩固的抗日根据地。因为没有政权，八路军的物资供应发生困难，连徐向前司令员的吃饭问题都受到威胁，有时竞到断粮的地步。国民党政府不给八路军粮和钱，几万部队穿衣、吃饭、医药、装备供给困难可想而知。此外，没有民主政权，也不好发动群众。徐向前常说，你在时（指八路军）把群众发动起来了，你一走，群众失去了支柱，都散了，像流水一样过去了。有了民主政权则无此弊。
为了建立抗日民主政权，徐向前曾亲自到国民党鲁苏战区总司令于学忠那里谈判，明白告诉于学忠，共产党要在根据地内建立政权。
于学忠是张学良的亲信，实际上并不是东北军的嫡系。1927年6月以前，他还在吴佩孚手下任军长，吴佩孚倒台后，才被张作霖父子邀去，到了东北军。张学良没有因为他是吴佩孚的部下而冷落他。恰恰相反，对他采取了信任态度。这使于学忠很感激。据说，张学良走后，他不仅忠于职守，还把张学良的战马养在身边，他不骑，也不准别人骑，以表示对张学良的忠诚。
于学忠热情地接待了徐向前。谈话是友好的，只是于学忠不赞成八路军搞政权，他说：“你们抗日，就不要搞地方政权了，八路军是军队，不能搞政权。你们也搞政权，我这个省政府怎么搞哇！”
徐向前说：“我们是抗日的军队，要搞抗日根据地，就得建立政权，发动群众。有了政权，有了群众才好打日本鬼子。”
于学忠说：“你们不搞政权，也可以抗战呀！”
徐向前说：“我们的部队抗战得吃饭，没有自己的政权就没饭吃。你们的政府，一不给我们粮款，二不给我们枪弹，连应该发给八路军的薪饷都不给，我们不搞政权怎么办！”
经徐向前反复解释，于学忠虽然同意了八路军可以在根据地内搞政权，但说“要合乎法律”。意思是要经过省政府核准与委任。徐向前只接受他的前半句——搞政权，不接受后半句——“要合乎法律”。他知道，要合乎蒋介石的法律，就不可能有共产党的政权。
这次接触后，徐向前在向毛泽东等领导人的报告中这样评价于学忠：一般问题经解释后，尚不坏，于仍站在第三者的立场，但思想太旧，与沈矛盾。
徐向前在山东建立民主政权采取了三种方式。一是条件成熟的地方建立民选政权。如在冀鲁边、鲁西、鲁南和胶东。1939年夏季，敌人对沂蒙山区大“扫荡”，国民党的县长都跑掉了，政权垮台。利用这个机会，先后在莱芜、新泰、蒙阴、沂水、临朐、东平、平阴、宁阳、长清、泰安等县建立了抗日民主政权。到1940年3月间，全山东有完整与不完整的民选县政权40多个，11月近80个，年底发展到90多个，还有1个行政主任公署，14个专署，250多个区政权。此外，还成立了山东省参议会，由进步人士范明枢任议长。成立了战时工作推行委员会，黎玉任主任委员，实际是行使省政府的职权。二是建立“两面政权”。即在敌占区、敌之“巩固区”、铁路沿线和中心城市，利用敌伪政权中的进步分子或秘密派人进去，进行抗战工作。徐向前曾回忆说：“有一些名为伪政权，实际是我们的人，像电影《平原游击队》里那样，我们过铁路时，他喊‘平安无事哟’，送我们过铁路。我们临走时，把他绑在树上。敌人来了骂他为什么不报告！他就说：”你看，他们把我绑在树上，我怎么去报告呀。‘就蒙混过去了“。①促使国民党控制的政权实行某种程度的民主化是第三种形式。这是一项长期而又非常艰难的工作。办法首先是揭露那些政权腐朽、堕落、不民主的丑恶现象，公之于众，让民众去分析、鉴别，认识改革的必要。其次是要求开放民主，要求使用各党各派的人才，要求减轻民众负担，改善人民生活。第三是发动群众组织宪政促进会，用以打破蒋介石长期”训政于民“的做法。1940年2月，山东全省宪政促进会成立，徐向前被选为执行委员。
此外，徐向前认为，在政权的外围普遍组织群众性抗日救亡团体，是巩固根据地和政权不可缺少的一个环节。经过全山东共产党和八路军的一致努力，群众组织发展很快。妇女救国会、工人救国会、农民救国会、自卫团，是群众组织的主要基干，连同文化界、教育界，以及儿童组织，到1940年4至5月间，参加的人数已达300万以上。他们在参军参战、供给部队给养、抢救战场伤员、破坏道路、捉拿汉奸、报告消息、掩护共产党和八路军工作人员等方面，发挥了重要作用。
在群众组织中，妇女工作尤为活跃。朱瑞在总结他和徐向前到山东一年的工作时，对妇女工作甚为满意。他说：“各种工作（指民运工作——注）
尤以妇女工作为最活跃与坚持，大部分有组织地区的妇救会，都能作掩护、慰劳、盘查及一般参战工作，清河一个村子妇女曾把60多个战士掩护起来。……她们做事认真、负责、坚持，有克服困难的精神，她们在敌人‘扫荡’下，组织与工作十分坚持。“①徐向前很重视发动妇女工作，又很重视妇女的作用。1940年的妇女节，他给山东妇女题词两则，号召迅速把妇女发动起来。
第一则为纪念“三八”妇女节而题：“纪念三八必须把妇女工作迅速的猛烈的广泛的深入的开展起来。”
第二则为庆祝鲁南妇救联合会成立而题：“没有广大的妇女起来参加抗战建国，则抗战建国的伟大事业的胜利与完成是绝对不可能的！因之为求抗战必胜，建国必成，就必须把妇女工作迅速的猛烈的广泛的深入的开展起来！”
他对妇女工作的重视与支持，受到了妇女拥护与尊敬。鲁南妇女救国总会召开成立大会时，妇女们推举徐向前为名誉主席团成员。
①1981年3月与访问者谈话。
①朱瑞：1940年11月《山东工作报告》。
徐向前进入沂蒙山区抗日根据地只1个多月，就接连发生了国民党顽固派向八路军进攻的严重事件。
1939年8月4日，胶东国民党顽固派郑维屏部，在文登西部葛家集杀害八路军办事处于部3人；赵保原（国民党军暂编十二师师长）部进攻八路军掖县根据地，捕杀共产党地方工作人员及家属。9日，秦启荣（国民党第三游击纵队司令）率部在莱芜以北雪野地方，袭击了八路军山东纵队四支队司令部；5天以后，又在淄河流域围攻山纵2个营达10天之久。这就是有名的“雪野事件”和“淄河事件”。在这之前，3月间，也是这个秦启荣，在博（山）益（都）边之太和镇，伏击山纵第三支队过路部队，政治部主任鲍辉以下100多人惨遭杀害。
徐向前感到，这比冀南的“磨擦”要严重得多，已经从以政治磨擦为主，转向以军事进攻为主，不采取相应的手段对付，根据地的建设将面临极大困难。他把情况报到延安。9月，毛泽东在一次与中央社、扫荡报、新民报三社记者谈话时说到：“那里的张荫梧、秦启荣是两位磨擦专家。张荫梧在河北，秦启荣在山东，简直是无法无天，和汉奸的行为很少区别。他们打敌人的时候少，打八路军的时候多。”
秦启荣反对共产党和八路军不是孤立的。徐向前知道，山东顽固派的首领是沈鸿烈。据说，沈鸿烈曾在张作霖部队中于过；抗日战争爆发时，担任国民党海军第三舰队司令兼青岛市市长，日军从青岛登陆，他不战而逃，比韩复榘跑得还快。可是很会开脱，告了韩复榘不战而逃的状。有人说他是因出卖韩复榘有功，才得到蒋介石的赏识。他逃到徐州不到1个月，蒋介石杀了韩复榘，委任他为山东省政府主席。秦启荣和沈鸿烈，一个在台前，一个在台后，他们打日本外行，反对共产党很内行。他们对共产党和八路军是见人就捉，见枪就下，见干部就杀，有损抗战的力量，亦在所不计；还说宁亡于日，不亡于共；日可以不抗，共不可不打。其反共的狰狞面目暴露无遗。
在冀南时，徐向前曾会见过沈鸿烈，同他谈过抗日的问题。沈鸿烈对抗日表现不热心，只是反复要求徐向前限定八路军在山东的游击队人数，划定占领地及防区。徐向前反问他：“你们在山东的部队限额是多少？你们的防区划在什么地方？”沈鸿烈无话可答。徐向前还说：“抗日需要多少游击队，我们就发展多少；抗日需要到哪里，我们就到哪里。在中国的土地上，总不能让日本人横行，而对抗日军民加以限制吧！”那次会谈无结果而散。
徐向前到山东后，沈鸿烈接二连三地向八路军进攻。同时，以政府名义，勒令八路军将诸城、海口交还政府，极力推行分化孤立、封锁给养、武装威胁、收买缴械等反共反八路军的政策。山东纵队有一个统计数字，1939年6月到12月，国民党顽固派向山东纵队所属部队进攻90多次，杀害军民1350多名，还扣押干部战士近千人。这就是说，山东纵队的战斗力，半年多就叫顽固派给消耗掉2000多人，而在这段时间里，山东纵队同日寇、伪军作战200多次，消灭敌伪4500多人，本身仅伤亡1200多人。徐向前认定：顽固派已对八路军和抗日根据地构成了严重威胁，不对他们进行反击，抗日根据地就保不住，就无法进行抗日战争。在斗争中，徐向前采取了区别对待的方针。
首先把于学忠和沈鸿烈区别对待。徐向前进入山东不久就发现了于学忠与沈鸿烈有矛盾，认为于学忠更有团结与争取的可能。这个认识后来被实践证明了。1940年毛泽东给徐向前通报消息说：“重庆来电称，山东方面于学忠始终没一电来攻击和告发我们，顽方颇不满，最近似加强对于之压力，故有小磨擦云。于已成东北军之孤臣孽子，处境艰困。对于应极力争取，于我有利。”沈鸿烈则是另外一种情况，他对共产党有誓不两立之概，制造政治磨搽，又制造军事磨擦，然后颠倒黑白，反诬八路军进攻了他。他向蒋介石、何应钦、白崇禧等国民党中央首领告徐向前的状，嫁罪于人。在一份电报中他这样写道：“前奉何总长电，对八路军停止冲突，当饬属遵照，惟近徐向前，集中莱博新蒙沂八路近万人，从亥起向新四师秦教导团进攻，请予派人帮助剿办……”国民党中央的一些首领们则以沈的诬词为据，督促所属向共产党八路军进攻。伺应钦在重庆的一次演说中公开说什么：徐向前不打敌人，专打沈军，沈军收复鲁村，徐又夺去，等等。因此，徐向前对沈鸿烈取孤立与打击的方针，对于学忠则以争取团结为主。在于学忠、沈鸿烈以下，徐向前又把秦启荣等顽固反共者和其他一些国民党将领区别开来。山东地区国民党军队为数众多，最多时大小达200多股，20余万人。这些部队的首领中，有倾向抗日的较进步者，有消极抗日、积极反共的顽固派，也有徘徊于左右之间的中立分子。对他们的政策分别为团结、打击、争取。打击的对象主要是秦启荣。徐向前说：“那时，同我们搞磨擦的不只是秦启荣一个人，还有王洪九（国民党游击第十支队司令）和张里元（国民党游击第一纵队司令）
等人。王洪九驻地靠日本人的据点很近，很容易同日本人勾结起来，不好武装解决。像他这样的情况，我们采取了警惕他暂不动他的方针。张里元这个人和王洪九有区别，和秦启荣更不一样，他虽然和我们不能很好合作，但我们到他的防地里，他也不把你怎么样，你路过他的防地去打日本，他也让你过去，对于这样的人，我们采取了尽量争取的方针。至于对秦启荣，我们大家是比较一致的，非反击他不行。“①1939年8月下旬，徐向前亲自部署了山东纵队在鲁中淄河流域的反顽战役。这次战役，有一、三、四三个支队参战，由山东纵队指挥张经武和参谋长王彬在前线指挥。连战几天，拿下淄川、博山以东之峨庄、太河、朱崖等地，把秦启荣顽军消灭一部，收编一部，缴枪2000多支，残部逃到张（店）
博（山）路以西去了。除这次反顽战役之外，一一五师和山东纵队其他各支队，也在各地区开展反顽斗争，打击了国民党顽固派的嚣张气焰。“这样一来，”徐向前总结胜利时说，“我们根据地的范围扩大了，抗日民主政权得到了巩固，使得我们能够更有力地去对付日寇的‘扫荡’与进攻。”
对顽固派的军事打击只是最后手段，更多的是政治和舆论的打击。政治方面，就是广泛发动群众，建立共产党领导的抗日民主政权，发展军队，巩固根据地，强化在统一战线中的独立自主地位。舆论，这是政治斗争不可缺少的一环，同时也表现了徐向前等共产党人对付国民党顽固派的斗争艺术。
徐向前这位严肃的军人，对舆论斗争并不外行。他到山东之后，以他的地位和声誉，很快赢得了山东的舆论界。他通过接待记者访问、公开发表演讲、赠言题词、发表通电等各种方式，提醒人们注意顽固派反共反八路军的投降妥协危险。
①1981年3月与访问者谈话。
卢沟桥事变两年多，抗日战争进入相持阶段的特点日益显露出来。徐向前曾预言日军对共产党领导的抗日根据地的“扫荡”将愈演愈烈，提醒军民早作准备。他指出，这种相持阶段的“扫荡”，与战略进攻阶段有不同的特点，可以称之为新“扫荡”。新“扫荡”有新特点，对付新“扫荡”要有行之有效的办法①。
徐向前曾明确地向山东根据地军民指出敌之新“扫荡”的特点：把后方转变为前线，以碉堡形成巩固的点与线，“扫荡”不平衡，次数加多，规模变小，时间短促，烧杀与封锁并用，以“游击战”对游击战，同时强化汉奸政权，利用汉奸、特务进行破坏，顽固派磨擦全面化。他要求全体军民正确认识自己的力量，由于敌人“扫荡”加剧，游击区逐渐缩小，八路军暂时还将处于劣势，根据地建设困难将增多。他提醒大家，不要有不切实际的天真想法，要反对太平观念，反对失败主义，反对妥协投降；要坚持、忍耐，用有利自己的游击战争去消耗敌人。他号召每一个指战员、事务员、工农学商、各阶层、男女老幼，都明确树立“一切为了迎接敌人的新‘扫荡’”、“一切为了粉碎敌人的新‘扫荡’”的思想。
军事打击是粉碎新“扫荡”的主要手段。根据当时的主客观条件，徐向前提出粉碎敌人新“扫荡”的原则和战术：——基本上采取游击战，但要争取运动战，只有巧妙地把游击战与运动战配合起来，才能各个击破敌人的分进合击。
——正规军游击兵团，灵活的适时的集中力量寻求运动战。在敌人“扫荡”的数路围攻下，用游击战来粉碎敌人的“扫荡”是不可能的，因此要机动的集中兵力击肢敌人一路，或机动的来打击敌人。
——要善于保存自己的力量，不要被敌人所暗算。不会保存自己的力量与不肯积极打击敌人，都是没有前途的。
——力争主动，反对被动，反对防御。在战略上说，游击战是防御的，在战役战术上应采取进攻的方法，无论游击战或运动战，在进攻敌人时固然是主动，在不利情况下，适时退却，转移另求机会，也是争取主动。如像有人分兵把口子那样做自处防御地位，都是不了解争取主动权的原则的。
——加强正规兵团的补充、整顿、训练，是刻不容缓的任务。
——整理地方游击队，扩大游击队，加强对游击队的训练。
——加强主力兵团及地方游击队部队的政治工作。
——注意交通联络与侦察网的建立。必须在事前确保这些工作的健全而严密，保证在任何战斗环境中，不至受到严重损害。
——游击队与主力兵团，要达到确实有机的配合。主力兵团孤军奋斗，游击队单独游击，双方都不能完成其任务；同时也不能使游击队在斗争中有迅速的锻炼与进步。只有游击队与主力兵团配合作战，才能打击敌人，粉碎敌人的扫荡，使游击队走上正规化的道路。
——要与友军密切配合作战。反对隔岸观火、坐观成败的恶习，发扬互相策应、互相帮助的优良作风，至于专门制造磨擦、减消抗日力量的罪恶行为，必须予以彻底肃清。
①徐向前：《历史的回顾》。解放军出版社1988年第一版，第653页。
这些思想和原则，对山东军民粉碎日寇新“扫荡”，发挥了重要的指导作用。
徐向前为研究敌人的特点和克敌的方法，不知占去了多少个夜晚和白天，也不知熬去了多少心血和脑汁。他有时头疼起来难以忍受，就用手枪敲自己的头，为的是缓和一下痛苦。这个举动每每使初见者吃惊。这个病是从哪年开始的，是什么原因造成的，他自己也说不清楚。长期战争生活的操劳，事业心的驱使，都是重要原因。
日军对山东各根据地的“扫荡”，除1939年6—7月间对鲁中大“扫荡”
之外，还有对泰西区的“扫荡”，对鲁西、鲁南的“扫荡”，对鲁北、胶东、冀鲁边的“扫荡”……。在反“扫荡”作战中，有名的战斗有一一五师的“梁山歼灭战”、“白彦战斗”，山东纵队第一支队的“五井战斗”、第二支队的“孙祖战斗”、第四支队的“杨家横夜袭战斗”、挺进纵队的“王八寨战斗”、东进支队的“马坊、重坊战斗”……。这些战斗，都程度不同地给日伪军以杀伤。
有人问徐向前，你在山东时日军扫荡了多少次？他说不出数字来，只是回答：“那时部队整天就是到处游击。”他记得，部队在一个村子一次住宿超过3天都很少，但是往往这个部队走了，另一个部队又进来。由于游击区范围小，部队整天转来转去，碰在一起是经常的事。徐向前经常活动在岸堤、马牧池、青驼寺、垛庄、岳庄、界湖、孙祖一带。他习惯找老房东，上次在这家住，这次还要到这家。有的房东他很熟，有时一进村就被接去了。熟悉的房东还请他喝过酒。徐向前本不善饮酒，但山东老乡直率真挚的性格，往往使他不能谢绝，不喝反而要伤感情。这给他留下了许多难忘的印象。
抵抗日寇的“扫荡”，反对国民党军投降妥协危险，巩固八路军独立自主的地位，都要求山东的部队有一个大的发展与提高。在这方面，徐向前花费了许多心血。他尤其注重提高部队的质量。他常说质量是基础。有人才，有干部，有好的素质和作风，部队的发展就容易。
徐向前注重以严肃的态度总结战役战斗的经验教训。他常说：经验教训是我们很多同志的鲜血所写成的，是他们为民族为国家奋斗的献礼，我们应深刻地郑重地来接受这些宝贵的财产！每次战斗之后，指战员们陶醉在胜利的喜悦之中时，他便开始了他的有意义的工作。
实际战斗的检阅，使他很快发现他过去没有接触过的山东诸部队的强点与弱点，像山东纵队这支刚刚组建不久的部队，强点在于部队的政治素质较好，有决心与侵略者做斗争；但它的弱点是不可避免的。干部战术修养差，单独行动把握小；不善于集中最大限度兵力抓住敌弱点争取歼灭战；不会作遭遇战、埋伏战、袭击战；射击不准确，射击无规律，乱消耗子弹；行军力不强，动作迟缓，常失战机；战场纪律不好，常发生忽视命令、修改命令、临时脱逃的现象；战场政治工作制度未建立。
根据斗争形势和山东部队的实际，徐向前提出了武装力量建设的“九化”：“1、主力兵团正规化。2、地方武装基于化。3、游击队组织化。4、自卫团普遍化。5、党的领导绝对化。6、战斗力顽强化。7、行动积极化。8、生活艰苦化。9、纪律严肃化。”根据这个目标，他还提出了一套具体的办法：——大量培养、选拔、聘请干部，“聘请各种人才”，如骑兵、技术兵、炮兵人才，技师、技术人才，如无线电人才，只要愿意真正抗日，都欢迎他们来参加八路军。使山东真正成为抗日根据地，需要各种人才开辟树立各方面的工作。——加强军事和政治训练。——加强参谋、机要工作和军需供给工作，开办参谋人员训练班，学习参谋业务，制定参谋工作制度，要求技术参谋进到战术战略参谋。——解决军需供给，自力更生，开源节流，这是以减轻人民负担为出发点的。每个干部发一块银元，规定要自买鞋穿。部队用槐树花、谷草灰染布。在战斗中注意收集弹壳，打一枪后，马上把弹壳收藏起来，不只要收集自己的，而且还要收集敌人遗弃的。奖励节省、爱惜公物、反对浪费贪污是节流，自力更生发展生产即是开源。当时鲁南有两个炸弹厂，一个炮弹厂，两个刺刀厂，一个机枪厂。清河有小炸弹厂一所，可造洋锹。
胶东有兵工厂，可造炸弹、炮弹、步枪、机枪、掷弹筒、迫击炮，还可翻造子弹。除此之外，各区还有纺纱、织布、制革、造纸、鞋袜等小工厂。胶东、鲁南还有金矿，月产黄金12两。他们在金融流通、统制贸易等方面也有所开辟，由共产党控制的北海、鲁西银行及分行年发行新钞700万元，泰山农民合作社还发行地方票。节约、生产、金融、贸易，用以解决每年每人平均130元左右耗费的大部分，大大减轻了民众负担。
把山东纵队推进正规化军队的行列，徐向前的努力主要是解决质量、数量和物资三大问题。他在山东的时间不长，但是在发展山东的武装力量方面取得了可观的成绩。徐向前后来回忆说：“在山东军政委员会的统一领导下，由于各部队的积极努力，广大人民群众的支援，山东我军的发展与扩大是比较迅速的。山东纵队1939年6至7月间部队的数量是2.5万人，到1940年我离开时，主力和地方基干部队达到了5.1万人，还不包括拨给兄弟部队的3.2万人。一一五师在1940年初是5.8万人，到9月就发展到7万多人。”
①1940年6月初，徐向前接到中央通知，要他赶回延安出席中共第七次代表大会。6月7日，他带着一个警卫小分队从青驼寺出发，踏上了去延安的路。
①《忆在山东一年》，载1982年《星火燎原》第1期。