1862 年 4 月，李鸿章到达上海不到一个月，就受命署理江苏巡抚。年底，正式出任江苏巡抚。李鸿章的政治生涯里，这是第一次担任地方长官。第二年3月，李鸿章又兼任南洋通商大臣。当然，这都是得益于曾国藩的举荐。曾氏在奏折中称李鸿章“劲气内敛，才大心细”。
人到中年的李鸿章，此时已是手握兵权、政权和财权的一方封疆大吏，其仕途“从此隆隆直上”，开始了他在晚清政坛上纵横 40 年的政治生涯。
李鸿章初到上海，就面临太平军第二次攻打上海。李鸿章知道如果没有上海，自己的一切都将化为虚无。李鸿章也知道有太多的目光关注着自己，所以他丝毫不敢懈怠。他给自己提出“不要钱、不怕死”的六字方针，时时刻刻提醒着自己、鞭策着自己。由于淮军中大部分人都是农民，他们初到上海的时候，上海的官员商绅和外国人看到这支脚穿芒鞋，布帕包头，土里土气的队伍，都忍不住哈哈大笑。他们怀疑这样一支队伍能否担当起保卫上海的职任。为了自己也是为了这支刚刚建立的队伍将来的命运，李鸿章始终对淮军严格治理，加大训练强度，整顿军中纪律。
训练的内容主要有阵法操练和扎筑营盘。淮军每天在营房四周做防御工程，筑高墙，挖深沟。他们筑的墙高八尺，厚一丈，用土块和草袋垒在外面，里面是实土。墙上还有四尺高的子墙，上面有枪眼，士兵就守在子墙上面。墙外修了壕沟，配合绊马桩、梅花坑、铁蒺藜等障碍物。此外，淮军还有严格的体能训练，例如要求士兵能跳上一丈高的房屋，越过一丈宽的壕沟抛火球要二十丈远，腿绑沙袋一天要走 100 里。
纪律整顿方面，每天中午晚上各点名一次，规定士兵不许擅自出营。绝不允许吸食鸦片。李鸿章还不断设法鼓舞士气，士兵的精神状态良好，都盼着快点开战，好试试身手。
李秀成率领十万大军对上海进行第二次围攻时，上海的英法联军一再要求淮军协同作战，李鸿章对他们不予理会，要带领淮军进行独立的战斗，1862 年 6 月，上海流行瘟疫，太平军很多人染上疾病，李秀成决定撤离上海。撤退之前，李秀成先围攻虹桥的程学启部。李鸿章带领队伍前去救援。
这是淮军和太平军双方第一次交战，当时李鸿章带来的是树字营、春字营等。春字营很快就抵挡不住往桥边逃跑，李鸿章正坐在虹桥桥头督战。他一把抓住带队的张遇春对士兵下令道：拿刀来把他的头砍了！张遇春只好又带人往回冲。张遇春是李鸿章的旧部，是李鸿章十分信任的人。但在大敌当前的时候，李鸿章就毫不留情了。经过虹桥、北新泾、四江口三场战役，李鸿章率领淮军守住了上海，使得那些最初耻笑淮军是“乞丐兵”的人开始对淮军刮目相看。
立足之后，李鸿章开始整顿江苏省的吏治。他罢黜了一批官员，起用了一批务实肯干、能力出众的人才，例如郭嵩焘、丁日昌等人。与此同时，李鸿章开始建立自己的幕府，幕府中很快招集了一大批各种各样有能力的人才。其中有精通数学、天文、机器制造的科学家；有懂得会计、钱谷之事的经济学人才；有熟悉兵法懂得机谋的军事人才等等。李鸿章用人是从实际需要出发，而且能做到人尽其才，最大地发挥调动幕僚们的积极性和能力。李鸿章还善于发现人才，上海那个钱鼎铭，也被李鸿章收归旗下，让他为淮军办理营务。这些人被李鸿章聚集在一起，齐心协力做好江苏的事情，做好淮军的事情，做好李鸿章交办的事情。
李鸿章做的另外一件大事，就是征集军饷。他采取了关税和厘金分开使用，用关税支付“常胜军”、中外会防局和镇江绿营的费用，用厘金承担湘军和淮军的军费。当时上海的厘金收取是全国最高的。厘金的税额是按照商品价格的百分比收取，值百抽一，百分之一为一厘。李鸿章认为，从商人手中多收点钱，胜过从农民身上收税。厘金的用途是“取之于民用之于民”，比从民间收税更方便。在李鸿章的多方筹措下，厘金大笔的进入了湘军和淮军的银库。然而，曾国藩还不够满足，希望李鸿章能筹集更多的军饷。李鸿章对于曾国藩的推举一直心存感激，所以对于曾国藩交办的事情尽心尽力的去做，并未因自己得势就弃曾国藩而去。相反地，他比当幕僚的时候更加服从曾国藩，体现了顾全大局的一贯行为方式。在上海半年，李鸿章就为曾国藩筹集到军饷 9 万两。此外，他还给曾氏兄弟送去大批武器，支持他们的军需装备。
当时，江苏的吏治特别坏，其中以前江苏布政使王有龄（时为浙江巡抚）为罪魁祸首。王有龄提拔的几个干部如苏松太道吴熙、苏州知府吴云、苏松粮道杨坊等都是贪污腐化分子。做了一番深入调查之后，李鸿章开始采取行动。他让吴熙管理关税，以前归吴熙管理的厘金改由幕僚薛书常管理。接着要求吴熙要做出明确的账目定期汇报，吴熙只好开始做假账，以求蒙混过关。
有一天，李鸿章喝酒之后，来到吴熙家中。对吴熙说：有人说你账目不清，现在总理衙门正要查你呢。你告诉我实话，你的账目有没有问题？如果你真有问题，那我想办法帮你找人疏通一下。吴熙看李鸿章喝多了，于是心里没有任何怀疑，拿出账本交给李鸿章说，你看看吧。李鸿章看了一会儿说，我今天喝酒喝得头疼，看不清楚。我回去好好帮你看看账面怎么样？吴熙就这样把自己的罪证交给了李鸿章。李鸿章回去后，马上找了几个精通会计的幕僚仔细审核，发现了账目中的很多问题。第二天，李鸿章就轻易地收拾了吴熙，改派黄芳和刘郇膏掌管海关和布政使司。刘郇膏以前在上海当县令的时候的声誉较好，被百姓称为“刘青天”。他还是李鸿章的同年，李鸿章对他比较了解。杨坊看到李鸿章收拾了吴熙，吓得主动辞去了苏松粮道的职务。李鸿章把这个职务交给了自己的老同学郭嵩焘。
虽然，李鸿章使用一些被他称为“君子”的人管理财政机构，但是出于策略上的需要，他还任用了一些例如金鸿保这样声名狼藉的人物帮他做事，因为金鸿保同地方上的各种要人都有广泛的关系。李鸿章需要利用这些关系维持和壮大自己在江苏地区的势力。此时，作为地方行政最高长官，李鸿章注意到了一个问题，就是地方经济建设的问题。由于连年战争，百姓生活穷困，还有大批无家可归的流民。李鸿章首先在战后地区恢复农业经济，减免田赋，还给农民发放耕牛和种子，给饥民发放米钱。在未直接受到战争影响的地区，向地主官绅收取新税，用这些税金补贴对农业费用的开支。
李鸿章还向朝廷提出举措，指出大户和小户之间的税率差别一定要改正，建议取消对大户的一些优惠政策。李鸿章在财政管理上一直倾向于从商人、地主、豪绅的手中获取钱财。他的这些措施多少减轻了当地百姓的负担，人民生活状况有所改善。但是，在整个经济建设中，仍出现很多问题。比如说大户抗税，一些贪官污吏趁机横征暴敛，还有很多无法得到保障的百姓仍然生活在颠沛流离之中。
李鸿章还使科举制度重新焕发了活力，他增加上海及临近地区的乡试名额，并在苏州设立新科。他还在苏州重建两个书院。1861年之后，忙于政事军务的李鸿章已经很少写诗，还放弃了收藏书法作品的爱好，而是把更多的精力放在实际工作中，放在那似乎永远也处理不完的事情上。在以后洋务运动时期，李鸿章在给朝廷写的一封信上说了这样几句话：中国的士大夫每天沉醉于文章的词句和练习写小楷字，而武将多半是粗俗愚蠢之人。由此可见，这时期的李鸿章已经看出：一个永远把精力放在练习写小楷字上的民族是不可能强大起来的。
有专家研究表明，这个时期的李鸿章在弘扬儒学方面并没有什么兴趣。他开始积极倡导以增强中国国力应付国外挑战为目的的新政策。