1948年初春，大地还没有解冻，徐向前出现在晋南前线的临汾城下。徐向前患结核性胸膜炎已3年多。这时，虽有所好转，但身体仍很虚弱。早在日本投降前夕，他卧病在延安和平医院，曾向前往看望他的毛主席表达重返前线的愿望。毛主席劝慰他安心养病，不要着急，意味深长他说：“以后国民党是不会叫你闲着的！”1946年11月，中共中央决定主动放弃延安，徐向前随一部分领导干部疏散到绥德。住了20多大，他再也呆不住了，便给中央写了请求到太行工作的报告。1947年夏季，徐向前奉命到晋冀鲁豫军区任第一副司令员。这时，解放战争己进入第二个年头。自6月30日晋冀鲁豫野战军主力在鲁西南地区强渡黄河，人民解放军进入了反攻，由内线作战转入外线作战，由战略防御转入战略进攻。8月下旬，刘邓大军越过陇海路，挺进大别山；晋冀鲁豫野战军陈谢兵团，由晋南强渡黄河，挺进豫西地区；西北野战军转入反攻。9月，晋察冀野战军于月初对平汉路北段之敌发起攻势作战；华东野战军主力在打破国民党军的重点进攻以后，于月初挺进鲁西南地区。10月，华东野战军的内线兵团，向胶东地区之敌发起攻势作战；东北野战军紧接着全东北范围的夏季攻势之后，在长春、吉林、四平地区和北宁线锦州至义县地区发起了大规模的秋季攻势。
所有这些战场上的攻势，组成了人民解放军全面进攻的总形势。人民解放军的大举进攻，使解放战争达到了一个转折点，标志着战争形势的根本改变。
此时，在晋冀鲁豫军区范围内处于内线的敌军，主要是在旧中国反动军阀中挣扎时间最长、残酷统治山西人民近40年之久的阎锡山。这个土皇帝还占据着晋中的平川地区，即同蒲路中段北起忻县、南至灵石及本段内汾河两岸略呈柳叶形的地区，以及晋南的运城、临汾和晋北的大同这三座孤城，希图凭借那十几个残存据点的坚固工事，负隅顽抗。此外，还有一部分胡宗南的军队，在运城、临汾协同阎军驻守。
1947年年底，徐向前根据中央指示，首先指挥运城战役，拔除了晋西南战略要点运城，控制了陇海路与潼关要冲，扼住了临汾胡宗南部退陕增防西安的通路，策应西北野战军主力更有力地进行保卫中共中央和陕甘宁边区的作战。徐向前率领临时指挥所来到晋南，统一指挥临汾战役。
临汾——这座晋南最大的城市，相传是唐尧建都的地方，历来是军事重镇。自从纵贯山西全省、沟通华北与西北交通的同蒲路建成以后，这里是南段的枢纽，地位益形重要。临汾城筑在汾河东岸一片冲积而成的黄土高地上，城外地势比城内低，黄土垒砌的城墙，粘结得非常坚固，基部最厚处有30余米，墙面如牛背，倾斜向上，高达14米，顶上有10米宽，可并行3辆大车；城周长近10公里；城外的东南部又加修了一座护卫城，高厚度略次于主城，周长3公里多。整座城，西傍汾河，南、东、北三面均为开阔地。从远处看，宛似伏在汾河边上的一头黄牛。所以，临汾又称“卧牛城”。据当地人说，临汾城在历史上没有被攻破过，连闯王李自成被射瞎一只眼，也没有降伏得了这头“卧牛”，气得把盔甲挂在城外一棵树上撤兵而去。于是后人把那挂盔甲的村庄，称为“挂甲屯”。
人民解放军收复运城，临汾己成为晋南的一个孤立据点。阎锡山自上党战役惨败后，为保住晋南，更加积极经营临汾防卫，不断加修工事。集中在临汾的兵力，除胡宗南的三十旅和阎锡山的六十六师两支正规军队外，还有逃到临汾的4个伪专员公署和14个流亡伪县政府所属的各种杂牌武装还乡团、保警队等，整编成的8个团，总兵力近2.5万人，统归阎锡山的第六集团军副总司令兼晋南地方武装总指挥梁培璜指挥。梁培璜，保定军校毕业，是阎军中较有作战经验的一名将领。
2月19日，徐向前在给中央军委的报告中表示：“临汾敌兵力虽多，但蒋阎军内部矛盾甚深，派系复杂，指挥不统一，战斗力一般不强，我攻下运城后，均极恐慌，且城大不利防守，只要我们准备周密，攻克不成问题。”
“攻克不成问题，”表明了徐向前的必胜信念。半月前从军区出发时，他就对夫人黄杰说过：“这次出去，打不下临汾不回来！”
事实上，打临汾并不是轻而易举的事。军区野战军相继南征后，留在内线的多数部队，是由各分区的独立营、县大队、游击队等地方武装为基础组成的。兵员不充实，新战士较多，装备极差，尤其缺乏重火器。部队没有攻击强固据点的经验，在思想上、组织上、作风上都存在着很大的地方性、散漫性与游击习气。朱总司令指定晋冀鲁豫军区，要培养出专门的攻坚部队，要专门研究攻坚的各种问题。显然，徐向前指挥这支队伍完成攻打临汾的任务，困难是可以想见的。这时，直接给徐向前当助手的，负责司令部工作的是参谋处长梁军，负责政治工作的是宣传部氏任白戈，后勤工作由队列科兼管。指挥所下属各科成员，来自不同单位，互不熟悉，有的参加革命不久，还缺乏作战经验。在这种情况下，身患疾病的徐向前，只有“事必躬亲”，在使用于部时，不得不“手把手”地教，以提高他们的工作能力。
有一次，侦察科汇报材料上写着：“蒋胡军的一个七排长因殴打一名阎军的士兵，引起两部之间的冲突。这个七排长被阎锡山的部队抓住打了个半死，几乎引起双方的火并械斗。”徐向前看后觉得这个情况重要，可是军队的编制，只有“七班长”和“七连长”，都不会有“七排长”。他找来写报告的参谋，说：“我揣想，你是把‘齐排长’误听成‘七排长’了。侦察参谋，还出这个笑话！同志呀，在了解和反映一个情报时，一定不能粗枝大叶，似是而非！”侦察参谋这才恍然大悟，惭愧不敢抬头。徐向前又耐心他说：“当然，这是个军事素养的问题，要靠平时的积累，要多学习，要有广泛的知识。作为一个侦察参谋，只有靠平时的积累，才能对获得的情报进行筛选，真正达到去伪存真，去粗取精。”他的这番话，使年仅20岁的侦察参谋留下了极深的印象，感到受益不浅。
军区各参战部队，于2月中旬相继到达翼城后，整编为含第八、第十三两个纵队和太岳军区部队共5万余人的野战集团。同时，军委又电令吕梁军区部队接受徐向前所给予的协同作战的任务。有关战役的后勤事宜，徐向前在从军区出发途经阳城时，已召开过太岳区党委、行署及军区联席会议作了部署。地方支前的组织工作，由裴丽生负责。
为了不失时机歼灭可能逃跑的敌人，徐向前部署：以八纵二十四旅位于浮山、大阳以西地区；太岳一部位于洪洞、赵城以东地区，控制同蒲路东侧；以吕梁军区指挥的西北野战军独立第三、七两旅隐蔽在汾西地区，控制同蒲路西侧。主力集结翼城、曲沃地区，如敌逃窜，即以东侧两旅占领要点，阻击敌于赵城以南地区，西侧两旅截击从汾河西岸北逃的敌人，并迟滞南下接援的敌人。为不过早地暴露行动企图，决定在战役发起时主力即以一天半急行军北上投入战斗。如敌固守不动，各部即隐蔽集训待机。
2月21日至23日，前指在翼城召开了营以上干部动员大会。徐向前特别指示工兵连排干部也参加。首先由八纵司令员王新亭总结报告运城攻坚战的经验。23日，徐向前作攻打临汾动员报告。绝大多数干部虽已久闻徐向前大名，但还是头一次见到他，都兴奋地尽量挤得靠近他坐。
徐向前在报告中，传达了朱德总司令关于为了解放内线敌占城市、要求培养专门攻坚兵团的指示，要求与会的全体干部，认真虚心学习运城攻坚经验。徐向前指出：朱总司令给我们这个任务，是光荣的、艰巨的。本军区今后的作战任务，在本区说来，就是要肃清内线的残余敌人及其残留的据点。
在全国范围说来，要配合外线作战，同时要把晋冀鲁豫军区的野战军培养成为专门的攻坚部队。苏联红军，有善于野战的，有善于攻坚的，有善于巷战的。这样，各有专门的装备，各有专门的经验，作起战来非常便当而有力量。
今后去收复国民党占领的许多大城市，需要多次的进行大规模的攻坚战斗。
本军区春季攻势第一个战役计划，主要的对象就是临汾。关于临汾战役的意义，徐向前指出：这个战役，不仅影响本区，还将有力地配合西北和黄河以南的野战军作战。打下临汾后，晋南就没有敌人的残留据点了，晋冀鲁豫军区就可和晋绥和西北连成一片。要加强部队的训练教育，要学习自己过去的经验，要向外国的军队，尤其是苏联红军学习。也要向本国的敌人学习。学习的重点，是攻坚的战术和技术。干部和战士学习要各有重点，干部基本上是学战术，但要懂得技术；战士基本上是学技术，但要与战术结合起来。勇敢和技术结合起来，勇敢与智慧结合起来。
针对阎锡山所说的临汾是“打不破的铜墙铁壁”，徐向前指出：在人民解放军面前，没有什么不可攻破的“铜墙铁壁”。阎锡山一贯是“乌龟战术”，胆小如鼠，轻易不敢伸头，估计不敢在解放军围攻临汾时派兵南援，但仍要充分做好围城打援的准备，要把“老鼠”当做“老虎”打；一个指挥员，首先一条，要胆大心细，打以前要心细，一打开了，就要胆大，要有“打鼠如虎”的精神，把弱敌当做强敌打，把强的敌人，当做更强的敌人打；一个指挥员，在平时就要善于管理部队，要有民主作风，要善于训练部队；各级指挥员，都应该养成良好的作风，军队的战斗作风应该是：谨慎、细致、迅速、果敢、沉着，不怕困难，不叫苦，胜不骄、败不馁。
徐向前一向重视加强军队中的政治工作。他在报告中着重提出，在部队中要开展三大民主运动，要求干部要爱兵，他说：“每个干部必须懂得，有了士兵才要干部，不是有了干部才要土兵，在战场上，真正冲锋陷阵的要靠士兵，因此军队干部要明确树立为兵服务的思想。这并不是说干部不重要，干部之所以重要，在于他能带好兵打好仗。军队中真正广大的群众是士兵，所以我们不管做军事工作，政治工作、后勤工作，都要看到士兵。”同时，他要求干部一定要有整体观念、政策观念，要加强党的领导，开展批评与自我批评，来保证政策纪律的彻底执行。25日，徐向前亲自率领与会的全体干部，观看了第八纵队组织的火力、坑道爆破、突击二者结合的实兵演习，检查了模拟临汾城墙的目标被破坏的程度。在现场对各部队领导作了指示。大会后，各部队展开练兵运动，积极进行攻临汾的各种准备工作。部队需要训练，干部需要培训，作为一个高级指挥机关，更需要精通业务的一批参谋人员。这时指挥所只有10几名干部，人手虽少，徐向前仍要求他们多多深入连队，收集基层的情况和各种思想反映，不要蹲机关。个别参谋干事暗暗叫苦，徐向前看透了他们的心思，严肃地说：“不掌握下情，发指示、下命令就是无源之水”。他教育指挥所机关干部：“你们要敢于承担事情。对一个干部，首先看他干不干，只要干，只要努力，那怕有些事干不好，即使犯点错误，也不要紧。”大家看到徐向前身体不好，担子那么重，总是殚精竭虑地工作，都从心里非常敬佩。叫苦的不叫了；畏难的，积极勤奋起来。部队的军事训练、政治工作、后勤保障工作，都不断加强。在紧张而繁重的工作之暇，为了使干部增加对作战地域的历史、地理、文化、民情、风俗方面的知识的了解，徐向前常给大家讲一些山西的历史掌故，讲尧舜禹汤、春秋战国、晋分三家等历史故事，讲韩侯岭地名的来历。他强调前方指挥所是前线的高级指挥机关，要特别注意政策问题。决不能随心所欲，感情用事。既要听下边的意见，又要独断、善断。还说过去在红四方面军时，指挥作战最怕张国焘到前线来。他一来前线瞎指挥就出乱子。
有一次，他和任白戈谈起柳宗元的《晋问》，文中说到临汾人民具有一些好的传统：生活俭朴，反对铺张浪费；乐于礼让，反对争权夺利；温和而不暴躁，能和睦相处；居安思危，注意防止人为的灾祸：讲求实际，能安适愉快的生活。
任白戈说：“这些很值得我们政治部门注意研究，在处理军民关系和执行城市政策时要加以考虑。”
徐向前说：“柳宗元是山西人，他把临汾人民群众在这个中国古代文化发源地带，由长期历史条件下陶冶的政治远见和道德修养，说成是唐尧那个‘圣贤’的个人模范作用和民主作风教化出来的，实际上，他是借题发挥，对自己那个时代的政治黑暗抒泄不满，表明自己的主张。他的政治思想，虽然不失为一种美好的愿望，但在封建社会中是无法实现的，不过，有些合理的因素，还是值得我们借鉴。”他要任白戈根据中共中央关于《纠正土地改革宣传中的“左”倾错误》、《关于民族资产阶级和开明绅士问题》和《城市工商业政策》等指示的精神，结合临汾和部队的实际，拟订一个《关于执行城市政策纪律的〈政治训令〉》，下发部队。
徐向前还说：“临汾城的文物、庙宇、古迹不少，都是我们民族文化的财富，要尽一切努力保护下来。要使部队懂得这样一个道理：城市是政治经济文化中心，乡村离开城市就不行，但中国革命的特点，是由乡村到城市。
一开始，我们打开一个城市，站不住脚，要撤出来。现在形势不同了，我们凡打下一座城市，就是人民自己的！“
“我们部队从打游击战到打运动战，发展到现在打攻坚战，我们训练部队打攻坚战，研究攻坚的战术技术，为的是把城市打下来，而攻打城市，为的不是破坏城市，而是要保护城市。”
“临汾城一定要攻下来，还有学校、机关、工厂、企业、医院、仓库和一切公共建筑，都要力加保护。”
徐向前在和梁军谈作战问题时，要他在具体制定攻城作战方案中，要从战术上，把城市保护问题考虑进去。并指示成立临汾城防司令部和城市管理委员会，负责处理入城后的各项工作和执行纪律检查。
3月初，西北战场传来捷报：胡宗南派整编二十九军军长刘勘率领两个整编师的四个旅驰援宜川。结果，连同守军一个旅被西北野战军全部歼灭，近3万人无一漏网，刘勘本人亦被击毙！胡宗南慌了手脚，再也顾不得与阎锡山协防临汾，急着想撤走三十旅回陕，可是通路已断，只有靠飞机空运。
节气到了惊蛰，春耕季节已经近了。考虑到作战需要动员大量人力、畜力运输物资，为避免过多影响人民群众的生产，徐向前决定趁早攻取临汾。3月5日，阎军六十六师的一九六团及3个保安团，进到襄陵南的古城地区。
当晚，徐向前即令十三纵提前出发，西渡汾河，配合吕梁部队作战，先歼灭此股敌人，并肃清临汾西岸外围之敌，尔后，再转河东，按原计划作战。
3月6日一早，徐向前向军委报告自己的部署：“八、十三两纵及太岳部队，攻坚训练与三查、民主运动，最迟者可于八日以前全部结束，决按原定计划，十日开始行动。第一步，先扫清临汾外围之敌，作攻击城垣准备。
此时如晋中阎敌南援，决先歼之于霍、赵间，冉攻歼临汾敌。如晋中敌迟疑，一切攻城准备已完成，即拟一举攻克临汾，再向晋中发展。“临汾战役尚未打响，徐向前已在胸中开始绘制着下一步的晋中战役蓝图。
时近中午，徐向前正坐在院子里草垛旁的躺椅上，边晒太阳边批阅文电。
参谋送来情报：今天清晨，胡宗南偷偷派来一队大型运输机，在临汾城南的尧庙宫机场降落，接运三十旅，已将旅长尹瀛舟及约一营人运走了，明天还要来飞机继续空运。徐向前看着，不禁皱起了眉头，然后，拿铅笔在上面重重地写上4个字：“失之过迟！”他当机立断，随即吩咐参谋处长梁军，马上给部队下达紧急出动命令，并向军委报告要提前攻打临汾。
命令立刻传达下去，要点是：八纵全部立即出发，以急行军于明晨天亮前赶到临汾城南抢占机场；太岳部队全部出动，以急行军，于明晨到达临汾城北，与八纵以向心合围的态势逼近城郊；十三纵完成河西歼敌任务后，迅速移河东向临汾城郊压缩包围；吕梁部队控制汾河以西，监视敌人和担任打援。
命令下达后，指挥所的人员整理文件、装具，准备前移，徐向前在院子里从容踱步。下午3点多钟，他命接通八纵王新亭司令员的电话，但联络不上，大概王司令员已经上路。他随即写了一张手令：“不能让敌人跑掉！我们的两条腿，一定要跑到敌人的飞机前边，不能叫敌人逃走，最好是在敌机降落以后发起攻击，缴获它几架飞机。”
两名年轻的参谋，乘上唯一的中吉普车去追部队。徐向前大声向登车的参谋说：“必须在部队宿营以前把命令送到，亲自交给王司令员！”话音刚落，随即坐进也是唯一的十轮卡车驾驶室，率领指挥所干部朝临汾方向进发。
战役发起时间，比原定的时间提前了3天。部队正在练兵，许多人仓促忙乱起来，一些干部认为“卧牛城”又搬不走，是“瓮中捉鳖”，何必提前3天？有人甚至说：“就让三十旅跑掉，临汾城不是更好打吗？”
徐向前想的正相反，他认为放跑三十旅，等于加强胡宗南在西北战场的力量，就达不到预定的牵制敌人、配合西北野战军保卫党中央和边区的战略目的；当面敌人，只有三十旅较强，让它逃走而轻易地攻下临汾，就不能取得真正的“攻坚”经验，完不成培养过硬的“攻坚”兵团的任务。3月7日清早，一夜没有休息的徐向前，直等到两名参谋带着八纵于行军途中拟定的作战方案回来复命。接着，又看了译电员送上的八纵已占领机场的战报，才如释重负。在主力部队连续16小时急行军，赶路130里到达尧庙宫时，按原攻城方案，己集结在浮山、大阳镇以西的八纵二十四旅，因距离较近，奉令首先打响了抢占机场的战斗。当时，10架飞机已经降落，敌军正列队等候上机。埋伏在机场南面的二十四旅的战士，在信号弹的闪光中猛烈开火，两架敌机被击中，其余八架敌机，没等停稳，又慌忙滑行上跑道起飞。几个敌军官，爬上吉普车朝城里逃跑，后边跟着几百名夺命逃奔的下级军官和士兵。机场迅即为解放军占领，胡宗南的空运计划破产了。刚刚到达的部队，忘掉了疲劳，立刻各自按照预定的目标展开进击，夺取了敌部分外围主阵地。
“卧牛”一下子被紧紧捆缚起来，梁培璜叫苦不迭。八纵的指战员为开头取得胜利而情绪振奋。头天下午还在埋怨不给时间准备的人，这下干部为徐向前用兵之神速而赞叹不徐向前详细了解了全部战斗细节，表扬了八纵。但他自己却并不感到满意，因为没能缴获它几架飞机，而这又是由于部队缺少这方面的知识的缘故。他指示梁军记下这个问题，准备考虑对敌空军斗争和今后解放大城市抢占机场作出战术指示。
寒意犹浓的春分时节，连日雨雪霏霏，天空一片迷茫，敌机被迫中断了空袭，部队正加紧作全线攻击的准备，“卧牛城”外出现了激战前夕特有的沉寂。3月21日，徐向前的记事本上记载着：本月来围城作战情况和问题；两日后攻打东关部署要点；下步晋中战役须提前布置事项；关于建军问题，拟向军委提请参考的个人意见……。傍晚，徐向前在距城约10公里的东堡头村窑洞里，接到八纵电话报告：二十四旅王墉旅长下午4时阵亡。他强抑悲痛，含泪询问详细经过，方知王墉在城北兴隆殿阵地一个旧碉堡内，通过枪服察看地形，被敌冷枪打在枪眼“外八字”形斜壁上的跳弹而殒命。年仅33岁的王墉，原是北平大学生，参加过“一二。九运动，蹲过国民党的监狱，是一位文武双全、智勇兼备的优秀指挥员。他身材魁梧，很注意军容仪表，气宇轩昂，无论训练作战，都是以身作则，对下要求严格而又合理。平时深入连队，许多战士的名字，他都能叫得上来，在部队里威信很高。这次抢占临汾机场，王墉率部连夜奔袭，神速地按时完成任务，表现了英勇善战，雷厉风行的战斗作风。他的牺牲，使徐向前沉思怀念很久。22日，徐向前给军区王世英副参谋长写了一封信，除了讲部队教育问题，打下临汾后的第二步行动计划等等之外，还写了这样一段话：”这次攻临尚未进入决定作战，八纵困干部看地形不隐蔽，亡营长一，副营长一，伤营长一，挖交通壕因土质松，连日阴雨天又解冻，又挖得大与宽，致土塌下，压死者数十人，我已下了一个训令纠正这一现象，但昨天二十四旅旅长王墉同志又到前方地堡看地形，被敌冷枪击中头部而牺牲，真正令人不胜悲愤！我已再下教令，规定看地形的办法，并令前面有些地堡须改修者改修，改造枪眼须内八字，进出口须改在侧面。总之这种伤亡太无谓，必须严正引起各级干部确实注意才好……“。
部队从3月22日夜开始，攻临汾东关和南北外围据点。炮兵把城墙轰开了一个宽10米的口子，但因射击技术不熟练，口子轰开得晚，步炮协同不好；外壕内沿只爆炸一次，突击部队通过不便，三十八旅未能突入；三十九旅攻入电灯公司，因连过两道外壕耽误时间，只歼敌1个连，敌退守南半院，形成相持；八纵和太岳部队攻北门外“日本坟”、兴隆殿两高地（与城墙同高），须连续爆炸三道又深又宽的外壕与障碍物，攻上去占领一群碉堡，歼敌一排，在敌炮火与反扑下，又退到外壕。苦战一天一夜，消耗弹药甚多而未成功。23日的作战行动，对徐向前说来，具有试探的性质。这是因为：第一，敌人城防工事的构筑情形和防御能力还摸不清；第二，新升级的部队，虽经前段整训、练兵，但实际战斗力如何，领导干部的组织指挥能力如何，均有待从实践中真正了解。既然“知彼知己”的程度都不充分，任何军事家也不会在一开始就拿出全力，企图侥幸取胜。首次试攻东关虽未成功，但许多战士和基层干部表现得十分英勇。升为主力部队不久的十三纵三十九旅，担任攻打外围据点，在攻入电灯公司与敌形成相持后，战士们以“能进一尺不退一寸”的无畏气慨，坚守阵地，顽强奋战；一一五团一连五班班长毛德兴等七勇士，发挥尖刀作用，连破敌三道战壕，攻陷两座碉堡，为部队向纵深发展，开辟了道路。三十八旅一一二团突击连战士李海水，因负伤没有来得及撤退，隐蔽在东关外壕内，他把别的连队的10几名伤员组织起来，连续打退敌人多次反扑，一直坚持到次日上午。最后，李海水奋不顾身地把一个5公斤的炸药包投向敌群，掩护战士们安全撤回阵地。这些事例表明，新部队同样具有极大潜力。战斗失利的主观原因，在于干部领导、指挥的缺点和错误。24日后，三十八旅二次攻东关，二十四旅三打兴隆殿，太岳部队三打“日本坟”，均未成功，主观原因仍在干部。为此，徐向前颁发了训令，要求各级干部，必须动脑筋，兢兢业业，周密细致，虚心检讨。他对李海水英勇顽强、机动灵活的英雄事迹非常重视，亲自打电话表扬并颁发嘉奖令，命名一二团七连为“李海水连”，号召全体人员学习李海水“对同志高度热爱，对敌人极端仇恨”的英雄行为。在这一号召下，临汾前线各部队掀起了学习李海水的热潮，有力地促进了新部队的军政建设。
在攻打东关的战斗中，徐向前曾给在后方的夫人黄杰写信说：“攻临汾东关与城附近据点大战己开始，敌人凭坚工深壕固守，攻下临汾歼灭敌人是一艰苦战斗，但大家信心高，打下不成问题，只是时间或会拖长与消耗大而已！”对自己的身体状况，他在信里说：“我自出发后，身体尚称平顺，有时虽感疲乏，但注意休息一二天即恢复原状，估计尚可勉力支持下去。”“昨日整夜未睡成觉，但今天精神亦不算坏，近来困事忙，话说多时常感觉胸背有些酸困与痛，但只要注意休息后，可少恢复，勉强下去还可以，只要不走路、不久坐即可支持下去。”
要少说话、不走路、不久坐才可支持下去，足见徐向前是在以何等坚强的毅力与病魔拼搏！
31日，在团以上干部会上，徐向前作了攻临汾战斗初步经验总结报告。
他首先自我批评说：在战役指导上，开始对敌人工事特点估计不足，想着在短时间内，以小的伤亡解决战斗。战斗部署改变几次，开始企图打东关同时准备登城，没有集中最大火力，兵力有些分散。但是他有力地指出，东关外围争夺战，正好锻炼了部队，也摸到一些敌人防御工事的底；敌人有5个正规军，已经被我军消灭了2500到3000人。他强调指出：攻坚战斗，是一个不痛快的艰苦战斗，必须细心调查研究敌情工事，必须周密组织战斗。关于攻坚的手段，当前主要是用坑道破城。要实行“土行孙”的战法，钻到地下去。他还就战术上应改进之点和政治工作等问题，提出了明确的要求，号召各部队再接再厉，为降服“卧牛”而战。
徐向前重新部署：八纵主力二十三旅，由东关东北面依托电灯厂攻东关城，十三纵主力三十七旅，位于三十八旅上两次攻击地域攻东关城，并集中全线的八二迫击炮以上之火炮，掩护攻击。规定4月10日为登东关城日期。
解放运城时即担任主攻的八纵二十三旅，已具有坑道爆破攻坚的经验。
旅长黄定基，作战英勇，负过三次伤，曾荣获特等杀敌英雄奖章。临汾战役发起之初，二十二旅攻下尧庙宫后，徐向前曾命他们从城南攻击。黄定基当时派六十七团三营，首先以掩盖交通壕逼近。由于部队通宵作业，先头七连进入阵地后，连哨兵也疲乏得睡着了，被敌人偷袭，一度失去阵地。为此，黄定基心想，肯定要挨批评了。不料徐司令员把他叫到指挥所去当面交代：“城南这个地形，看起来是敌人的弱点，外围没有支撑点，一下就可以进到城下。但实际上是敌人的强点，它居高临下，我们不便于兵力、火器的展开，所以不要光批评部队。看来，这个地方作登城地点和突破口不行，你们把城南阵地放弃，移到城北‘日本坟’以西，去做好配合全线攻击的准备。”这番话，使黄定基大受启发，觉得原先自己只看到一个连阵地的得失问题，眼光实在太狭小了。他从心底里佩服徐司令员的用兵。其实，徐向前还有更深一层的用意：主力调到城北，便于及时迎击被诱引来援的敌人。
经过与敌人在地面争夺外壕的英勇奋战，及在地下精心进行坑道作业，到4月9日，二十三旅己先后完成四条坑道，十三纵也完成两条坑道。4月10日，突击团及二梯队进入阵地，各种火炮也先后做好射击准备。下午4时，徐向前在炮兵开始火力准备的隆隆声中，来到离东关不远的一处房屋制高点观察和指挥。6时，坑道一齐点火爆破，二十三旅的三条坑道炸开两个缺口，一宽57米，一宽25米，两个突击营乘尘烟腾起，发起冲击不到一分钟就登上城头，迅即向纵深发展。三十七旅困经验不足，两条坑道一条爆破处距城墙尚有8米，另一条的点火装置因故障而没有起爆。徐向前当机立断，命令三十七旅突击队循二十三旅的突破口跟进。两旅突人，据守各要点的敌人被歼后，敌六十六师师长徐其昌，率少数残兵逃入临汾城内。凌晨，东关落人人民解放军手第三节“坚持最后五分钟”
人民解放军攻占东关的胜利，鼓舞了自己的士气，极大地震慑了敌人。
阎锡山曾于4月3日任命六十一军副军长娄福生为梁培璜的副总指挥，乘小飞机偷降临汾城内，协助守城，不料，进城没有几天，就丢了守城的主要屏障东关。“卧牛”屁股上连尾巴带后腿被砍去了一截，看来只能“卧”
以待毙了。此时，国民党正在南京选举“总统”，蒋介石在“国民大会”上宣称：决心保卫临汾。阎锡山3次打电报，令梁培璜“人尽物尽，城存成功，城亡成仁”。梁培璜一面将三十旅移至城外，争夺地面阵地，一面要求派飞机支援。
徐向前总结打东关的经验，决定以坑道爆破为主的战法，打下临汾本城。
为分散敌兵力，他于15日调整部署：以十三纵由城南门以东地区，八纵由城东南以东地区，太岳部队由城东北地区，同时攻击前进，掩护破城坑道作业。17日，他向军委和军区报告了攻东关的战果、伤亡情况和下一步行动计划。20日，中共中央、军委给徐向前和前指发来贺电：“庆祝你们歼灭阎敌六十六师及肃清临汾外围和攻占东关的胜利。你坚持近迫作业，坑道爆破，并控制主力，决心长时间夺取临汾的计划是正确的。”
守城敌人在东关尝过“土飞机”的厉害之后，也在绞尽脑汁，采取反坑道战的种种措施。他们挖掘大量丁字形反坑道，在坑道内，遍设听音缸，发现动静即实施对挖，临近时炸毁对方坑道。在地面，则以各种手段侦察解放军坑道口的位置，窥得迹象则以飞机、炮火猛烈轰击，还派敢死队袭扰坑道。
为了粉碎敌人的反坑道战术，徐向前命令部队与敌展开了对挖、对听、对炸的斗争。困难一天比一天多。坑道通过城下外壕，进入了非常艰苦的阶段。
由于严重缺氧，掘进速度缓慢，为加强坑道掘进的保密，战士们挖土改用三股齿、小铁铲，脚缠破布棉絮走路。因为敌人的反坑道又密又多，攻城部队主坑道得不断拐弯，每前进一步都要付出很大的代价。徐向前不顾身体有病，几次进坑道察看，和战士们一起研究改进作业方法。鉴于坑道作业劳动强度很大，他指示要保证每人每天有两顿饭能吃上肉，会吸烟的人，每天发给徐向前日夜关注着坑道的进展。每天夜深了，他还不肯休息。直到他听到八纵二十三旅“今夜进展顺利”的报告，才站起来说：“好！看来今夜我可以睡得着觉了！”
时节已过清明，四野一片嫩绿。东堡头村上空，时有敌机盘旋侦察，或者任意扫射一阵。徐向前还和往常一样，只要没有特别紧急的情况，总是在上午抽时间走出指挥所，散步深思，对头顶上的敌机似乎不闻不见。跟随他的警卫员，这时正好一路采摘一些野菜。他们知道，这类野菜，经炊事员老毛略事加工，徐司令员吃起来津津有味。但是，同好者实在不多。只有一次，任白戈尝了尝，还评论说：“哦，有点甜味，难怪《诗经》上讲，‘谁谓荼苦，其甘如荠’呢！”说着，大家都笑了起来。
4月24日，滕代远、王世英由冶陶来前线慰问。徐向前听滕代远传达了中央去年十二月会议的精神，又听王世英副参谋长汇报了最近军工局利用硝酸氨化肥改制炸药成功，炸药的供应己找到新的来源的情况，感到非常欣慰。
4月27日，前指召开团以上干部会，由滕代远传达毛主席在中央去年十二月会议上的讲话。28日，徐向前在会上作《围打临汾以来的几个问题》的报告。他在报告中，着重讲了对攻坚战的认识问题。他说，“攻坚是啃骨头，要求牙齿要硬要利，否则就啃不下来，如果碰到硬骨头，啃起来又费力又费时，而且还吃不饱，因此，攻坚战斗是非常艰苦的战斗。”他指出：“在现阶段中，我们必须以较小的伤亡和消耗，去换取敌人较大的伤亡与消耗。”
他严厉批评了一个连长瞎指挥、对战士不负责任的错误。他说，一个人长大成一个兵，是很不容易的，叫战士去爆破，不组织火力掩护，拿人去同敌人拼，那决不是勇敢，而是愚蠢和罪恶！最后，他总括地说：“自三月七日开始临汾战役以来，在这五十天的紧张顽强斗争中，我们攻取了东关，歼灭了六十六师和杂顽大部，俘敌四千以上，毙伤敌四千以上，现在敌人援兵无望，突围有被歼灭的危险，守城信心更加动摇。但我们也要估计到，敌人只有死守一条路，必然作垂死挣扎，我们也只有坚决打下临汾一条路，所以须要进行激烈的顽强的战斗，才能最后歼灭敌人而竟全功。如同运城战役一样，现在我们又已到了‘坚持最后五分钟’，发挥最后顽强性的时候了！”
在临汾决战即将展开之际，傅作义纠合阎锡山突然出兵攻石家庄。4月30日，中央军委致电徐向前，指出“我必须保卫石家庄，除从应县急调六纵三个旅南下位于阳泉外，难于再抽兵力，临汾攻克是否有把握？并是否能于短期内攻克？是否可以抽调两至三个旅北上，位于太谷附近威胁阎锡山军？
如阎攻击阳泉则向阳泉会合六纵歼灭之。盼复。你部无论临汾攻克与否，第二步全力对阎作战，各个歼灭阎军，保卫石家庄。“徐向前冷静地分析了当前形势，认为坚决攻下临汾即保卫了石家庄。乃于当晚电复军委：敌以炸药、毒气破坏攻城部队土工作业，故进展甚缓，肃清城东与城南外壕前面及坑道内之敌，尚须3至5天。只要坑道成功，攻下临汾不成问题，预计尚需时约15天。为防敌乘隙东犯，徐向前建议中央军委是否先将驻赵城准备阻援之晋绥独三、七两旅由彭、罗率领东移太谷以南，协同太行地区牵制阎敌；若敌东迸，即移阳泉，协同六纵歼东进之敌，待兵团攻下临汾、北出晋中时，再西返协同作战。电报发出后，徐向前连夜调整部署。翌日清晨，军委来电称：阎锡山已集结一部兵力，有于日内向娘子关方向攻击模样。在阳泉附近解放军仅有两个小团，无防御能力，六纵在应县向阳泉走须要12天时间，要徐向前即派两至三个旅兼程开至太谷附近，向太谷一带敌军举行有力攻击，牵制敌人，同时主力继续攻击临汾不变。
情况如此紧急，徐向前当即报告军委，除吕梁军区彭、罗两旅外，再抽出太岳一个旅，统归彭绍辉、罗贵波指挥，北上晋中策应。并下令免除太岳部队攻城任务，以八纵接替其攻城地区及攻城坑道，以十二纵接替八纵东城门以南原二十二旅攻城地区及坑道。同时，于5月1日颁发为解放临汾的《紧急动员令》，号召临汾前线“全体指战人员以百倍紧张的精神紧急动员起来，扫除一切倦怠、松懈、烦腻、迟疑的现象，坚决、勇猛、积极、顽强，坚持最后五分钟，争取解放临汾的最后胜利！”
5月2日，军委复电，同意徐向前的部署，并令北上部队均立即由驻地出发。徐向前当即将彭、罗等可争取于八、九日赶到太谷以南，以及该部作战行动计划等详报军委。次日，军委复电，认为甚好，同时指出：“你处攻打临汾行动仍按原计划进行，不宜性急，为能更有把握攻下临汾，如必要可照预定日期再延长若干时日。”
徐向前深知，征战中有把握的取胜，总是靠周密的部署和士兵的勇敢和智慧才能实现。他看到敌外壕内工事异常复杂，有一处部队五攻没有拿下，于是专门把攻击该处的营、连、排、班长，找到指挥所来座谈。他鼓励大家各抒己见，弄清究竟为什么原因打不下来。在他发扬军事民主，集中群众智慧的精神带动下，部队普遍召开了“诸葛亮会”，极大地调动了指战员研究战术、技术的积极性。
5月7日，徐向前给朱德、刘少奇、滕代远、薄一波写了《克临东关以来作战情况综合报告》。报告中说：现战斗之关键在夺取外壕，战斗正在地上地下同时进行。双方争夺己半月，六十天作战，我伤亡约九千至一万人（内有四千人归队），但部队情绪仍极高涨，普遍反映说，我们是打强了，不是打弱了，信心更打高了。新部队说，经过这样锻炼，也成主力了。但是，攻坚战毕竟意味着“庞大消耗”，这对于长期习惯于在游击战与运动战中，主要以缴获敌人补充自己的一些领导干部和后方机关人员来说，的确是从未经历过的。临汾已经攻了60来天，结局未卜，如此旷日持久地再打下去，弹药实在难以为继，敌人又威胁到石家庄，必须全力以赴去保卫。在这种形势下，“莫如放弃临汾，回师东向，集中力量保卫石家庄”的议论，在一部分人中提了出来。朱总司令得悉此种议论，当即写信给晋冀鲁豫军区领导，指示决不可自动放弃临汾，嘱全力给徐向前一切支持，一定可以攻下。朱总司令的指示，适时地增强了军区领导和后方机关夺取临汾战役全胜的信心。不过，徐向前对这些情况并无所知。在他看来，临汾城内粮食弹药和兵力物资都有限，阎锡山又不敢派兵来援，就是只围不打，梁培璜也支持不了多久，哪有攻不下的道理！他对王新亭说，就是胡子打白了，也要把临汾打下来，打不下来你和我到五台山当和尚去！他说的虽是笑话，但确实表明了他的坚定的决心。在这段时间里，他抽空看了几本新近得到的苏联小说，还常练写毛笔字。晚上，他到作战值班室去时，参谋们总是准备好笔墨，让他写字休息。
他也提笔就写，写完不是揉了扔掉，就是拿来点烟抽。已经长期被围困在“卧牛”城里的敌军，此时虽说不是弹尽粮绝，也到了物资难以为继的时候。生活待遇最好的三十旅，也长期吃不到油了，牲口因无饲料，大批杀掉充食，7000余伤员无药医治。蒋介石和阎锡山从南京、太原派飞机输送的粮、弹、菜、药和日用品，空投下来，又有不少落进解放军阵地。梁培璜在绝望之际，竟穷凶极恶地推行所谓“肃清伪装”，宣布撤离阵地是“伪”、不愿当兵是“伪”、妇女不愿慰劳、不愿与军人结婚是“伪”，并指派专以杀人为务的督战队，施行镇压，企图以此维持残局。搞得城内杀气冲天。人民急盼解放军解救。
临汾告急，阎锡山既不敢南援，也不敢再东迸。傅作义见阎锡山因一个师被解放军六纵队歼灭已没胆量与其配合行动，又见冀中的解放军严阵以待，他那攻打石家庄的暄嚣也偃旗息鼓了。
经过两个多月的苦战，临汾指日可下。徐向前内心充满着宁静和喜悦。5月10日，他在给黄杰的信中说：“攻下临汾指日可待，因敌人己伤亡惨重，弹药奇缺，再打一时己无兵可守，现我已打到城边，控制了外壕，只要再过几天，坑道成功，便可大功告成。我己数年不直接指挥打仗了，这一次出马就遇了一个硬桃核，而部队又多系新成立的，战斗经验不多，战斗力不很高，真是使人焦心，现真算熬过难关。只要最后打下临汾，真算开始过了难关，大家信心亦会提高，以后难关尚多，必须‘过五关斩六将’才可算是个老部队，但第一难关过后，真算少少打下了一点基础，以后也就算好办了。……
离冶陶时积雪满地，现已麦穗如浪，时光虽快，而临汾将下，思之心将释然矣！“
徐向前对总攻临汾的部署作了最后的调整。决定：十三纵三十七旅由大东门以南炸开缺口登城，三十八旅位城南助攻，三十九旅位城西南之东赵西村地区堵溃；八纵二十二旅在右、二十四旅在左，于大东门以北并肩登城，二十二旅位于城西北汾河西之刘村、芦道线堵溃；其余部队控制城北，担任助攻。为保证攻城确有把握，他指示攻城各部队，突击队至少要准备两个。
同时，亲自检查了突击队准备情况。16日晚，八纵战士在坑道内隐隐听到附近有敌人对挖的声音。情况紧急，眼看仅有的最后两条坑道有被破坏的危险。
徐向前当机立断，决定将总攻时间提前一天。
16日，智穷力竭的梁培璜收到阎锡山的电报：“胡（宗南）部已空运抵太原，日内即协同高倬之、沈瑞两军南下，临汾之围指日可解。”17日正午再接阎锡山电：“晋中局势已变，南下部队暂缓赴临，短期内仍须苦力支撑”。
此时，解放军攻城部队两条坑道已完成装药，一条装黑色炸药1.24万斤，另一条装黄色炸药6000厅。敌人已经坐在火山顶上了。
15时，十三纵集中5门山炮、4门野炮先行射击，八纵也以平射炮突然开火，将大东门北一段城墙上的敌火力点全部摧毁。19时，伴随着暗红色的闪光和天崩地裂般的轰响，浓烟尘土腾空而起，两处近40米宽的缺口炸开，突击队的勇士向那里发起冲锋。
此时此刻徐向前正站在城东麦地里。天气并不热，但他敞开军服的衣襟，全无半点病容。身旁的参谋们都奇怪，不知他是哪来的这股力量。爆炸成功后，他放下举起了好一阵的望远镜，脸上露出少有的笑容。
不一会，王新亭来电话报告，部队已经入城向南北及纵深发展，徐向前立即追问：“你在什么位置？”
“我现在突破口，准备跟部队进……”
“天这么黑，你进去干什么？还不赶快给我下来！”徐向前给两眼高度近视的王新亭司令员，下了这样一道既严厉又亲切的命令。话语急切而直率，声音中饱含着爱护之情。
“那……好吧！”王新亭完全领会的回答。
徐向前放下电话，给军委和军区拟了如下的电稿：“八纵全部十九时五十分己攻人临汾，刻己进入三个团，正巷战中。”这时，他长长地舒了一口气，觉得一阵疲乏袭来。
18日傍晚。被俘的总指挥官梁培璜脑袋低垂站在徐向前面前。他夜里逃出城跑掉了鞋，狼狈不堪地光着脚板。徐向前先令人拿双鞋给梁培璜穿上。
问他：“你是保定军校几期的？”
“第三期。”
“打了几十年仗，难道没有记住‘无必救之军者，则无必救之城’这条城防基本法则吗？”
“知道。……”
“明摆着临汾是座孤城，阎锡山远水救不了近火，胡宗南自顾不暇，蒋介石更帮不上手，你为什么还要在这里死守？”
梁培璜无可奈何地叹气。
徐向前又问他为何使用毒气？他企图抵赖。直到指出种种证据，他才认罪。再问他原来有何打算。他答：“贵军如果晚两天攻城，我们就要突围了。
估计西山是个缺口，想从那里逃往西安。“
徐向前“哼”了一声。说：“到处天罗地网，走不了哇！”说完，即吩咐把梁培璜的家属找上，让他们团聚。这时，这个“保卫临汾总指挥部”的总指挥，真有点不相信自己的耳朵了。
另外的3个副总指挥，娄福生遁入西山，昼伏夜行，最后化装成商人逃回太原；三十旅副旅长谢锡昌，六十六师师长徐其昌，逃出城十来天后，都俯首就擒。
19日，军委复电徐向前，庆贺攻克临汾的胜利，同意部队休整半月和关于下一战役的计划。复电说：“你这次以新成立之兵团，取得攻临汾经验，将为继续消灭阎锡山敌据点开展胜利道路，望于休整中总结此次战役经验电告。”
部队入城之后，徐向前率领参谋人员来到战地，从外壕内到城墙表里、上下，对各处敌人工事的人力配系，亲自一一察看。他特别到五攻没有拿下的地方细看了一番。
在坑道轰开的突破口现场，徐向前和各部队的领导干部，登上城头席地而坐。他说：“我们在临汾这一仗是伤亡大、胜利大、锻炼大！”“我们用鲜血换来的攻坚经验很宝贵。虽然又有新的作战任务在等着我们，但是一定要利用这个间隙时间，好好总结，积累起来。以后还有更坚固的城市等我们去攻打。”
告别临汾之前的最后几天，徐向前写下了《临汾战役经过和主要经验》、《临汾敌之防御配系及工事构筑的实际情形》和《临汾战役战术总结》等长篇文字报告。在接见新华社晋南前线记者时，他说：“此次临汾作战所以能取得完全的胜利，主要是由于人民的支援。如广大民兵、民工直接参加战勤工作，后方的供应始终保证了部队的顺利进行作战。如要论功行赏，那第一功就该归之于后方的支援。”
6月4日，徐向前抵洪洞参加八纵召开的庆功大会。在会上宣读了中央给临汾前线全体指战员的贺电，根据各部队民主评定，将一面“光荣的临汾旅”旗帜授予战功最显著的八纵二十三旅。
攻打临汾的经验，得到了中共中央的高度评价。毛主席在6月1日给东北野战军领导的电报中说：“徐向前同志指挥之临汾作战，我以九个旅（其中只有两个旅有攻城经验），攻敌两个正规旅及其他杂部共约两万人，费去七十二天时间，付出一万五千人的伤亡，终于攻克。我军九个旅（约七万人）
都取得攻坚经验，是一个很有意义的大胜利。临汾阵地是很坚固的，敌人非常顽强。敌我两军攻防之主要方法是地道斗争。我军用多数地道进攻，敌军亦用多数地道破坏我之地道，双方都随时总结经验，结果我用地道下之地道获胜。“①临汾既下，晋南全境解放，晋冀鲁豫解放区和晋绥、西北解放区已连成一片，阎锡山的统治区域缩小，处境更加孤立。徐向前和他指挥的部队北上晋中，与敌决战的日子就在眼前。彻底打倒”土皇帝“阎锡山，解放山西全省已为期不远。
①《毛泽东军事文选》内部本，第461—462页。