至德元年二月，李隆基任命吴王祗为灵昌太守、河南都知兵马守，带令部队在河南一带抗击叛军。吴王祗命令前单父县尉贾贲率领两千人马前往河南要地壅丘。这时，谯郡太守杨万石已将全郡献给叛军投降了。投降后的杨万石，强迫命令真源县令河东张巡为长史，带领一部分士卒向西去迎接叛军。张巡带领一百多士卒向西而行。路上，沿途逃难的百姓有人认出了他们的县令，向他诉说着叛军的凶残，战争给他们造成的痛苦，并跟随着他一起向西前行。一路上，逃难的人很多，跟随他的人也越来越多。等到达真源县城时，跟随张巡的人已经有几千人了。张巡到了真源，率领手下官吏和百姓数千人，跪拜在玄元黄帝庙前大声痛哭，并歃血结盟，庄严起誓，要组织军队讨伐叛军。在场的百姓和官吏自愿参加军队者有几千人。张巡从中选出了一千名健壮者，组成一支精干的部队。他听说壅丘有大唐王朝的部队，就带领部队和百姓向壅丘进发。
田野上，逃难的百姓慌慌张张地奔走着。他们远远地看到持刀拿枪的军队就仓皇失措、没命奔跑，原野上回荡着呼儿唤女的哀叫声和凄惨的哭泣声。张巡他们一路走过的许多村子，都已经是人去屋空，一片狼藉。而路边上，相隔不远就有几具带着伤痕的尸体，有老人、有小孩，更多的是被蹂躏过的妇女。看到这些，张巡的心情十分沉重，他默默地带领着人们加速前行。在路上，他们也时常遇到小股的叛军，驱赶着、鞭打着一群群悲苦哀鸣的百姓，不知道要将他们带到什么地方去，去干什么。每当发现这种情况，张巡就立即带领士卒们出击，将叛军消灭，救出百姓。被救出的许多百姓都不愿离开他们，跟随着张巡一起向壅丘进发。
安禄山叛乱后，叛军还没有到达壅丘，壅丘县令令狐潮就同叛军暗中勾搭上了。他派人前去同叛军联络，把县城早早地献给叛军投降了。壅丘是一个军事重镇，安禄山不费吹灰之力就得到了，他十分高兴，任命令狐潮为将军，并命令他带兵向东攻击淮阳。令狐潮带领一支叛军很快攻破了淮阳，并俘虏了淮阳城内的一百多名淮阳士卒，将他们压回到壅丘，关押在县城内的大牢内。令狐潮采取各种措施，被抓的淮阳士卒就是不肯投降，令狐潮就想杀死他们。这时，他接到命令，前去拜见叛军节度使李庭望，没来得及杀淮阳兵。淮阳兵中有个叫雷万春的，是个勇士，他是受伤被俘的，他知道就要被处死的消息后，就同其他的淮阳兵商量与叛军决一死战。他同几个人一起用计杀死了看守的士卒，冲出大牢，放出了其他被关押的淮阳兵，与驻守在县城内的几百名叛军展开了激战。县城内的一些百姓也早已对叛军恨之入骨，也操起锨、锸加入战斗，同叛军作战，且参战的百姓越来越多，叛军们抵挡不住了，狼狈逃窜。淮阳兵和百姓们打败了叛军，占领了壅丘县城。刚刚回到县城的令狐潮见大势不妙，顾不上妻子儿女，带着一些叛军士卒逃走了。贾贲得到消息后，趁机带领自己的部队进入了壅丘，同淮阳士卒一起守卫壅丘。没过几天，张巡带领的部队也到达了壅丘，他们合并一处，一起守卫壅丘。
又过了几天，令狐潮率领一支叛军精兵来攻打壅丘了。贾贲让张巡带领一些士卒守城，自己带领一支部队出城同叛军进行交战。交战中，贾贲被叛军的暗箭射中，当场身亡，唐军阵势立刻大乱，开始向后溃退。叛军紧随其后，步步逼近城池，形势十分危急。张巡见状后，立即带领部分守城的士卒冲出城外。他大声呼喊，阻止住了后退的士兵，并一马当先来到阵前，挥舞着大刀，带头冲入了敌阵，带领士卒与叛军展开拼死作战。正在追击的叛军猝不及防，开始纷纷后退，张巡趁机带领部队展开了反攻，向叛军冲去。叛军被打退了，壅丘保住了。战后，张巡接管了贾贲的部下，同自己带来的部队进行了合编，进行统一指挥，张巡自己称是吴王的先锋。
败走的令狐潮并不甘心失败，他要夺回壅丘。三月，令狐潮又同叛军将领李怀山、杨朝宗、谢元同等，带领四万多叛军前来攻打壅丘。壅丘城外，四万叛军密密麻麻地把小小的壅丘县城里三层、外三层围了个水泄不通。而城内张巡带领的守军仅有两千多人，敌众我寡，力量悬殊太大。面对如此众多的敌人，城内的一些官兵失去了信心，他们认为城池很难守住，提出要放弃城池撤离。张巡了解了这些情况后，对手下的将士们说：“现在叛军们虽然兵强马壮，人数众多，但是他们也有弱点。他们骄横自大，自以为人多势众，一定十分轻视我们，不把我们放在眼里。他们一定会麻痹大意，在作战时不做认真的准备。兵法上说，骄兵必败。如果我们针对他们这些弱点，出其不意地对他们进行攻击，那么叛军一定会惊慌失措，开始溃退，我们就会取得一次战斗的胜利。这样，就挫伤了他们进攻的锐气，我们就会在心理上就占据了上风，在气势上压倒他们。叛军的锐气受到挫折，他们进攻城池的信心就会减弱，攻城的势头也会减弱。我们团结一心，坚决抗敌，城池就可以守住了。”张巡根据叛军围城的情况，分析判定出叛军将要攻城的的几个地方，将有限的部队做了有效的安排部署，充分发挥每个人的战斗力。他将一千人作为守军，坚守在叛军将要进攻的几个地方，抗击敌人的进攻。把剩下的一千人分成数队，作为外出攻击的部队。每一队外出攻击的部队由一名将校率领，时刻做好出城作战的准备。部署完毕后，叛军发起了进攻。张巡在城墙上一边指挥守军抗击叛军的进攻，一边观察着叛军的种种迹象，当他发现敌军攻势越来越弱，围城的叛军越来越懈怠，就指挥出城作战的几队人马，突然间一齐打开城门，同时冲出城外，向叛军发起了进攻。叛军没有料到守军会敢出城作战，对守军的进攻没有任何的准备，在遭到突然的进攻后惊慌失措，阵势开始混乱，一些叛军士卒开始掉头逃窜，冲乱了自己的阵势，叛军的阵势乱了。张巡身先士卒，冲入敌阵，奋力向敌人砍杀。士卒们也紧随其后，呐喊着冲入敌阵，高举着刀枪向敌人砍杀。叛军乱作一团，丢盔弃甲，狼狈逃跑，一个个只恨爹娘给自己少生了两条腿。张巡带领军队追杀一阵后，停止不追了。他们缴获了一大批军用物资和粮食。他们回到城里，禁闭城门，准备器械，加强防御，防备叛军的再次进攻。
第二天，叛军经过休整后又开始前来攻城。他们运来大批攻城的器械，在城的周围摆放了一百多门大炮，用大炮不断轰击城墙。在叛军的炮火中，城墙的许多地方很快被炸毁坍塌了，形势十分危急。张巡指挥士卒和百姓们冒着炮火，在坍塌的城墙废墟上架起了栅栏，阻止叛军的进攻。炮火停止后，一群群叛军像蚂蚁一样拥挤在一起，沿着城墙的废墟爬着向上攀登。张巡命令士卒运来大批的干青蒿，命人把青蒿一束束捆起来，灌上油脂点上火，不停地向叛军投去。青蒿在叛军的头上、身上燃烧，烧的叛军鬼哭狼嚎纷纷逃去。一时间，叛军怕火烧不敢再发动进攻了。张巡一边带领士卒守城作战，一边审时度势，观察分析叛军的活动迹象。当他看到叛军攻城懈怠、精神疲劳、已失去了斗志，就组织一些士卒出城对叛军发起反击。有时在夜间，张巡组织一些小部队，用绳索将他们坠放到城外，出其不意地袭击叛军的营盘，弄得叛军人心惶惶，提心吊胆，整夜不敢睡眠。不几天，叛军们就疲惫不堪，士气低落，叛军的战斗力大大降低了。
张巡带领部队与叛军连续作战了六十多天。六十多天中，张巡和士卒们一样，衣不解甲，马不歇鞍，受轻伤后就草草地包扎一下，再继续作战，打败了叛军的一次又一次的进攻。在六十多天中，守军与叛军大小作战三百多次，大量地歼灭了叛军。叛军伤亡严重，在久攻壅丘不下的情况下，只好狼狈撤走。叛军撤走时，张巡又组织军队展开追击，俘获叛军两千多人。张巡带领部队以少胜多，保住了军事重镇壅丘，给了叛军以沉重的打击，一时间，张巡名声鹊起，张巡的军威大振。