当时安徽政局上有三个重要人物：巡抚李嘉端，帮办团练的兵部侍郎周天爵，还有一个就是吕贤基。
李鸿章首先在周天爵处入幕。入幕是当时清国的一个重要的官场现象。一般有地位的官僚，手中都要培养幕僚，即所谓养士。一般有学问有才干的人都有过当幕僚的经历。幕僚既是官僚的学生，也是官僚的得力助手，也就是我们今天说的“智囊团”。很多有才学的青年通过入幕的机会，对官场政治会有很深入的了解，同时，也在一些具体事务的操办中，锻炼了自己的能力。所以说，入幕与养士是一件对双方都有利的事情，这也是中国的幕僚制度能够久盛不衰的缘故。
在周天爵处,李鸿章主要做的事情就是消灭捻军。捻军，原称捻党，起于清朝初年，由淮河两岸的穷苦老百姓组成的反抗压迫的结社。后来逐渐发展到山东、河南、苏北等地。捻军的成员复杂，有农民、渔夫、手工业者、船夫、饥民等等。他们最早做的事情就是抗粮、抗差、吃大户、劫富济贫。活动的时候，数十人或者数百人为一“捻”，各部自号为捻，各不相同。首领被称为“捻头”。本来捻党主要进行的是经济方面的斗争，并没有明确的政治纲领。但是，随着太平天国的壮大，安徽、河南等地的群众纷纷结捻响应，捻党逐渐发展成为捻军，规模和组织日益严密。所以消灭捻军也成为清政府迫在眉睫的一件大事。
李鸿章跟随周天爵参加了两次较大的消灭捻军的战役。一次是镇压定远陆遐龄起义，一次是镇压活跃于颍州、蒙城、毫州交界处的陈学曾、纪黑壮起义。安徽巡抚李嘉端开始指派李鸿章独立指挥军事。1853 年 6 月，李鸿章手下已经拥有兵勇一千人。这些人都是李鸿章从地方团练和其他部队征集来的。8 月，在安徽北部巢县附近，李鸿章的这支军队首次战胜了一小股太平军，使得李鸿章初博小名。为此，安徽巡抚李嘉端还专门上奏清廷，请求给予李鸿章“六品顶戴、蓝翎”的奖励。其实，当时李鸿章虽然恪守职责，但仗却是打得毫无章法。李嘉端之为请功，不过是老官僚为自己脸上贴金。
就在李嘉瑞为李鸿章请功后不久，太平军大将石达开率部到达安庆，主持太平军的西征军事。石达开大军所到之处，清兵溃不成军，望风而逃。随后，石部步步进逼，直取集贤关、桐城，吕贤基所死守的舒城危在旦夕。 李鸿章慌忙在合肥拼凑了几百兵勇，赶往舒城大营。眼看太平军就要打进来，吕贤基做好了以死报效皇恩的准备。看到这种情况，李鸿章很是为难，他想自己总不能和那些士兵一样逃跑吧？可是，不跑的话自己也很难活命。在他犹豫不决之际，一个叫刘斗斋的人劝说李鸿章快点逃跑，开始李鸿章不好意思，不料刘斗斋已经把马牵出来了，李鸿章索性上马连夜跑回了家。11月，就在李鸿章逃跑的第二天，太平军攻下舒城，吕贤基投水而死。次年 1 月，太平军攻克庐州，新任安徽巡抚江忠源也被迫投水自杀。
咸丰帝急命福济为新任安徽巡抚。福济，满洲镶白旗人，字元修，道光进士。是李鸿章考进士时的副考官。福济不懂用兵之道，所以到达安徽之后，立即召李鸿章入幕。福济对李鸿章很重用，一同商量军事大计。福济对于李的每一建议，都认真地考虑。由于太平军实力雄厚，援军和粮饷不断，致使清军连连败北。福济决计不再强行攻打，而是等待太平军失去外援，弹尽粮绝，发生内乱时再伺机进攻。 1855 年 2 月，李鸿章带兵占领含山，杀死太平军千余人得清廷赏赐知府衔。李鸿章乘胜配合副都统忠泰攻打巢县太平军，双方僵持不下。这时他接到父亲去世的消息。1855 年 7 月，李文安在合肥去世。 李文安是 1854 年回到安徽带团练的。当时，安徽庐州的团练在李氏父子的带领下，整齐有序，堪称是团练的典范。李文安身体很好，喜欢喝酒。1855 年 7 月，酒后无疾而终。李鸿章得知父亲去世的消息，悲痛万分，急忙赶回去料理丧事。就在这时，巢县的太平军发动了猛烈进攻，副都统忠泰战死沙场，清军覆没。李鸿章因不在军中而幸免于难。
李文安曾手书遗训给李氏兄弟：“贼势猖獗，民不聊生。吾父子世受国恩，此贼不灭，何以家为，汝辈努力以成吾志！”李文安，这个在坎坷的仕途上奋斗一生的普通官员，至死不忘剿灭“逆贼”，他对大清国的忠诚确确实实是发自内心的。也许，正是因为大清国上上下下还有很多像李文安这样的臣子拼命保驾，还有像李鸿章、曾国藩这样的才学超人之士运筹帷幄，太平天国才没有完成他们消灭大清的志向，洪秀全才会兵败如山。
李文安的死，给李鸿章以很大的思想打击，在他很多诗文中我们都可以看到他对父亲的深深想念和沉沉悼念。对父亲的遗训，让李鸿章铭记在心，一刻不敢懈怠。1855年11月，福济、和春等督兵勇攻陷庐州，李鸿章从战有功，受到嘉奖。其后兵分两路，西南直指舒城、三河、庐江等地；东南则进犯巢县、和州、东关等地。这次战役除了舒城小胜之外，其他各地均以失败告终。李鸿章参与的东南战事，也是一路溃败。他极为郁闷，以诗赋志——
其悲凉之情，溢于言表。1856 年 9 月，太平天国发生空前内讧。福济、和春等趁机督军打通庐州东南和西南通路。李鸿章参与了巢县、和州、东关等战役，因有功而加按察使衔。1857 年 2 月，太平军的青年将领陈玉成和李秀成又向安徽北部发动进攻，攻克桐城、舒城等地。李鸿章部溃败，他带领母亲仓惶北逃。1857 年秋，李鸿章向清廷请求为亡父丁忧守制。因为李鸿章征战有功，清廷将李鸿章交军机处记名，等到有道员缺出，给予简放。就这样李鸿章结束了五年的团练生涯。
在李鸿章帮办团练的过程里，既有不知所措的迷茫和困惑，又有实践中的探索和积累。他虽然有“专以浪战为能”的不良记录，以及“翰林变绿林”的恶名；但是从清朝统治阶级的立场来看，他的确在为维护大帝清国的江山而苦斗不已。 在五年的“牛马走风尘”里，李鸿章逐渐懂得了一个道理：为将之道，在于洞察机先，真正做到知己知彼才能百战不殆。不能在乎一时的成败，要通观大局，万万不能逞匹夫之勇。而对自己溃败的种种经历，落魄仓皇的心情，李鸿章是深感羞愧的。这种羞愧，比起他在仕途上不尽如人意的坎坷，更深刻地刺痛着他的心。这种愧感并不因为受到朝廷的几次嘉奖便能平息的！