还是在安庆的时候，李鸿章就开始接触外国人的洋枪洋炮，还有那些威力无比的远洋战舰与船队。到达上海之后，李鸿章不无惊异地发现，堂堂大清上海的防卫力量，竟是由英国人、印度人、法国人组成的三千人的洋人军队。这支军队是由上海商人和绅士出钱养着的外国雇佣军。该军 1860 年正式组建，由美国浪人华尔出任指挥。1862 年，被清政府命名为“常胜军”。这个华尔，后来还娶了杨坊的女儿，加入了中国籍。
“常胜军”的武器都是西式的来复枪和榴弹炮，李鸿章看着这些硬梆梆、冷冰冰的“利器”，不禁惊叹它们的神奇力量，并逐渐对这些“利器”产生了及其热烈的向往。为此，他还化妆成百姓，亲自到上海的外国军舰上参观。李鸿章在文章中写到：我观察我们中华民族和外国人的种种，包括历史、制度和文字等等方面，外国人唯一比我们强的就是他们先进的武器装备。如果我们中国人将来也有自己的先进武器，那我们就再也不用害怕外国人了。
由华尔所率领的“常胜军”连连挫败雄风依旧的太平军这一事实，使李鸿章深深地感受到了洋枪洋炮的巨大威慑力，同时也不能不生出空前的危机感。李鸿章明确提出：大清现在的大患是太平军，将来更长久的大患必是洋人无疑。所以他要求自己的军队不能依靠洋人，一定要“自强”，而最初的自强之道，就是所谓“讲求洋器”。
在李鸿章着手以“洋器”装备淮军时，首先遭到曾国藩的反对。曾国藩一向认为，用兵在人不在器，而且怀疑洋枪洋炮的作用是否有李鸿章说的那么厉害。李鸿章不便强烈回驳自己的恩师和统帅，只是在回信中委婉地表示，我是想学习洋人的一点儿“密法”，希望能增强淮军的战斗力。
在1862年 5月给曾国藩的信中，李鸿章谈到世界历史说，以前俄罗斯和日本因为不知道大炮的厉害，所以国力日益衰退，自从他们从英法学到武器的制造术后，便逐渐能和英法比高下。除此之外，李鸿章日益感到淮军势单力薄。他考虑到从老家招兵不方便，所以除了在当地招募了一些新兵之外，把淮军主要来源放在改良以前的防军上。他还收编了一大批太平军的人马，用以扩大和充实淮军力量，而且收编的降军力量远远超过改编的防军。这是李鸿章有意采取“以毒攻毒”之策。
此时李鸿章还开始组建自己的水师。最早的淮军水师起建于安庆时期，那时候有五只大船。到达上海之后，李鸿章改编了上海旧的水师防军和苏嘉地区的部分船队，还有其他一些零散的力量。他还统率着淮阳水师和太湖水师。这样，李鸿章的淮军便达到了水军 4 万人，陆军 7 万人的规模。
最初李鸿章训练淮军，基本上也是按照以前训练湘军的那一套办法，特别是每天要带领士兵唱“爱民歌”，这都是曾国藩的创意。湘军虽然拥有洋枪洋炮，但是很少使用。李鸿章则请洋军官进入淮军大营，帮助实际操练，让士兵学习洋枪洋炮的使用方法。从此以后，淮军这支湘军中最早的分支部队，开始和湘军有了诸多的差别。李鸿章就率领着这样一支队伍，开始了对太平军更猛烈的进攻和更疯狂的剿杀。
从 1863 年初到 1864 年 5 月，李鸿章率领淮军一路收复昆山、常熟、苏州、常州，向世人显示了这支军队的作战能力。在此期间，“常胜军”也协同淮军一起作战，但都是遵从李鸿章的部署。1863 年11月，李鸿章亲自率军攻打苏州，与忠王李秀成部抗衡，双方相峙不下。此时，太平军内部一些动摇分子产生叛降之念。当戈登率领的“常胜军”攻城陷入埋伏之后，太平军将领纳王郜永宽等为了赢得叛降的资本，故按兵不动，放了戈登一马。否则，戈登必然全军覆没。李秀成见力敌无望而率军撤退，把守城的任务交给了慕王谭绍光。淮军副将郑国魁是郜永宽的结拜兄弟，在程学启的鼓动下，郑国魁对郜永宽做了许多劝降工作。一天深夜，在苏州附近的湖上，郜永宽等人秘密和程学启签下协议，由戈登作证，商投诚事宜。
李鸿章得知消息后，一面安抚戈登，让他在北门外待命；另一方面假意接受郜永宽等人的投诚。李鸿章之所以假意接受他们的投诚，是因为郜永宽等人要以杀死坚决守城的谭绍光为条件，自己仍然率旧部留守苏州。当时太平军在苏州城内约有 10 万余人，他们答应让出苏州城的一半给清军，而自己的部队不能被拆散，要保持整广建制编入淮军。程学启看到他们这样的条件，于是向李鸿章献计，将降将杀掉。李鸿章认为，他们几人今天能降我，明天也可能降他人。如果他们投降之后再反叛，我岂不是自讨苦吃？如果不允许他们自带旧部，那么苏州城仍然不可得。所以，他依了程氏之计，在苏州城外威武的座船上，大摆鸿门宴，乘机将投诚的太平军八大降王一并杀掉了。
曾国藩对此事评价说，李鸿章心狠手辣，眼明手快。李鸿章对待其他事情的处理上，也有类似的做法，有人说这是“厚黑”。李鸿章做事通常比较注重结果，而不在意过程，这也算是他的某种风格吧。