自天津教案之后，李鸿章在外交方面的才干得到了清政府的重视，不久李鸿章负责办理了对日本的一系列交涉事务。
明治维新之后，日本逐渐走上了一条强盛之路。日本军国主义的野心开始膨胀，他们把觊觎的目光投向了中国。但是，当时日本的力量还不足以明目张胆的侵略中国，于是向西方列强学习，要求和清政府签订一个通商条约。1870 年 7 月，日本政府派遣使者来华议约，双方开始初步的交涉。当时中国和日本还没有建立外交关系。国内有很多人反对和日本签约。安徽巡抚英瀚认为，日本历来是向中国进贡臣服的弹丸之国，根本没有资格和大清国签约。总理衙门表示，中日通商已经在上海开展了，双方的通商可以继续进行，没有必要再签订一个通商条约。
前来议约的日本使者柳原前光私下找到李鸿章，透露了自己的想法：西方列强曾经侵略日本，日本对他们心有怨恨。所以希望能通过和中国签订条约，共同对付西方列强。此外，日本方面还向总理衙门暗示，如果中国不同意和日本签约，就要请列强帮忙。柳原前光的一番话打动了李鸿章。他觉得如果能和日本修好，不失为一件好事。如果中国不答应，日本将会联合列强，那样中国不但要在列强的压迫下仍和日本签约，日本还会转向和列强一起对付中国。
清廷派李鸿章为对日议约大使，与日本谈判。日本提出仿照西方列强的“利益一体均沾”原则，要求日本进入中国内地进行贸易。对此，李鸿章坚决反对。 日本方面因为无法用武力胁迫中国达成目的，暂时放弃了这项要求。1871 年 9 月 23 日，中日双方在天津签订《天津修好条约》18 条和《通商章程》33 条。规定两年后换约。条约规定淡水、台湾等地为对日通商口岸，日本不得进口货物到中国内地，也不得在内地购买货物。这是中国和日本签订的第一个条约，也是 19 世纪之后中国签订的第一个合理、平等的对外关系条约。
但是，日本政府对这个条约并不满意，因为他们没有能实现预期的目的。前来和中国谈判的官员回日本之后不得不辞职。日本政府事后要求对条款进行修改，被李鸿章断然拒绝。1871 年 11 月 27 日，发生了“琉球岛事件”。66名到中国朝贡和贸易的琉球人，在回国途中遇上风浪，飘流到台湾岛。台湾岛的高山族人以为是有敌人入侵，打死琉球人 54 名。凤山县政府把其余的人送到福州，再由闽粤总督送回琉球。朝廷令台湾道台查办此事，安抚琉球。
琉球，位于福建之东。隋书称作流求，元朝时称作瑠求。明朝时正式成为中国的藩属，此后他们的国王一直受中国皇帝的册封，称为琉球国王。他们每隔两年进贡一次，从未停止。这件事情让一直对中国虎视眈眈的日本人找到了向中国挑衅的借口。他们指出，1609 年，日本派出三千人攻打琉球，擒获琉球国王。国王被迫接受每年向日本送粮食八千石。因此，琉球是日本的藩属。
1872 年 10 月，日本请琉球王子到日本参加明治天皇的亲政典礼，当众宣布：册封琉球王为日本藩王。但是琉球并没有承认它与日本的关系，他们只承认自己是中国的藩属。1873 年，日本派出副岛种臣和柳原前光来中国换约。柳原前光拜会总理衙门的大臣，和他们谈起琉球事件，中方大臣说，杀人者系“外化之民”。他的本意是说，外化之民为未经开化的少数民族。可是日本人却找到语言的歧义表示，“外化之民”就是不归中国管辖的外民。日本人抓住这个时机，马上表示要代表琉球去向台湾讨回公道。
李鸿章看出了日本人的险恶用心，知道日本人这是在为攻打台湾寻找理由。但是，他错误地认为，日本人不会立即采取行动，不足为惧。日本却迅速开始了行动。清廷在得知日本军队已经向台湾进发的消息之后，还在幻想着日本不可能真的和中国开战。殊不知，日本已经对外宣布，清政府已经承认台湾不是他们的藩属，日本此举是为琉球主持公道，不是对中国开战。李鸿章虽然已经做好了兵力部署，但是他把希望寄托在列强身上，希望得到列强对中国的支持。1874 年 5 月 7 日，日本公然在台湾琅乔登陆，杀死台湾人民 30 多人，并烧毁了房屋。1874 年 5 月 14 日，清廷派沈葆桢前去台湾。后又命沈葆桢为钦差大臣。沈葆桢，当时主管南洋水师，熟悉新轮船的使用。李鸿章在台湾布置了 1 万兵力，包括原淮军的使用洋枪洋炮的队伍。清兵奉李鸿章的命令按兵不动，给日本以威慑。
日本人登陆台湾后，由于不熟悉地形，加上水土不服，又经常受到高山族人的袭击，伤亡病死者三分之一。日本不得不考虑再次与中国谈判。柳原前光在和总理衙门谈判中，把责任推到中方，一口咬定“外化”的歧义，认定台湾不是中国的领土。双方僵持不下。
1874年 9 月 1 日，日本内务卿大久保利通率员来到天津。他派人打探李鸿章对待此事的态度，得知李鸿章认为可以给日本兵“犒赏”但是不能给军费。“犒赏”是大清帝国的一种尊严，而“军费”则有受辱的意思。其实，对日本人来说，这两个概念在本质上都一样，就是能从中国讹诈到钱财来。日本请出了英国公使威妥玛对此事进行干预，帮助日本索要军费 200万两。总理衙门害怕得罪英国，于是放弃了和李鸿章说好的计划。答应给日本赔付 50 万两。10 月 31 日，中日双方签订《北京条约》，内容如下：一、日本国此举，原为保民之义举，中国不得认为有错；二、台湾生番将日本国属民妄加杀害；所有遇害难民的家属，中国必须给予抚恤银两，日本在台建筑及所修道路，中国愿留自用，已先行议定了补给银款，另有所议之单；三、所有此事两国一切来往公文，撤回注销，永为罢论，至于台湾生番，中国当设法管束，以保难民安全。李鸿章对此很不满意，他认为用不着给日本赔付，但是他又认为，花上一点小钱，可以避免战争庞大的耗费，把战争的费用节省下来，可以用于筹备海防。大清国眼下还需要忍气吞声，以待振兴。这个条约为中国留下了一个巨大的祸患，就是说到台湾人所杀难民为日本国属民，其实这就等于承认了琉球国属于日本。按照大清帝国的想法，以为条款中日本人提及的台湾人杀害的日本国属民是指的那些日本士兵，而日本人就是故意用这种含糊的词句来掩盖他们的真正意图，即被台湾人杀害的日本国属民是琉球人。这为日本以后吞并琉球提供了重要的借口和依据。但是，清政府却丝毫没有深入考虑过这些条款的细节，以及条款背后隐藏的杀机。只是想着早日息事宁人。
《北京条约》的订立，给中国带来了极大的坏处，一是把琉球推向了日本。二是让全世界都看到，日本一个小国都可以公然的向中国发动侵略，更说明了清政府的腐朽无能。他们由此得出这样的结论：中国政府害怕打仗，愿意以钱来换取和平，以后可以放心大胆的用武力来威胁中国，对中国进行掠夺。这件事情对中国和日本的外交关系具有及其重要的影响，由此奠定了日本在对中国外交方面日益占据优势的地位。
经过日本侵略台湾事件，李鸿章逐渐看清了日本人的野心，也认识到联合日本对付西方列强的梦已经破灭了。1871年，俄国趁阿古柏侵扰新疆，出兵占领新疆伊犁。1878 年，左宗棠率军清除阿古柏，收回伊犁。保住了西北边疆，保全了中国的领土。这是中华民族在19 世纪唯一取得重大胜利的爱国壮举，在这次战争中左宗棠成了民族英雄。1871年底，清政府派出全权大使崇厚出使俄国，开始与俄国进行收回伊犁的谈判。崇厚对伊犁的形势和情况全然不知，结果签订的条约导致清廷不满。1880 年 1 月，清廷将崇厚定罪为斩监侯。2 月，清政府拒绝承认崇厚签订的条约，准备与俄国重新签约。并令曾纪泽（字劼刚，曾国藩的长子）为驻俄公使办理签约事宜。俄国对中国此举十分不满，指责中国违背国际公法。于是陈兵中俄边境，情势十分紧张。 在这种大背景之下，日本开始加快了吞并琉球的计划。
1875年日本派兵进驻琉球，命令琉球王尊奉日本明治年号，不许再向中国朝贡。琉球王紧急向清廷求援，清廷首先采取的措施是派人调查此事。负责调查的何如璋对此事进行了全面了解，并在给朝廷的汇报信上详细分析了日本的险恶用心，指出了放弃琉球的后患。清政府对于琉球并非不放在心上，只是此时正头疼于伊犁事宜。李鸿章总觉得琉球的问题是可以借助列强的干涉得到解决的小事情。1878年 4 月，日本政府废琉球为县。琉球指望清政府的援助，可是，清政府却没有出兵。8 月 30 日，日本政府正式宣布琉球为冲绳县。清政府既不愿意放弃琉球，又出于种种顾虑和担忧不敢出兵帮助琉球。李鸿章找到美国前任总统格兰特调停此事，以失败告终。格兰特给李鸿章写信说明此事，最后说：中国应该自强。
李鸿章看了格兰特的信后感慨万千，大清帝国一日不如一日的灰暗，正如一片浩瀚的海洋拍击着李鸿章的心，这海洋背后隐藏的就是惊涛骇浪。李鸿章心里知道，现在连日本这样的弹丸之国都有疯狂的野心，而他几乎看不到大清国的一线生机，心中无限悲凉。这时李鸿章想到了联合俄国对付日本。日本在琉球岛事件上之所以猖狂，是因为他们利用了中国和俄国的纠纷。如果俄国的问题处理不好，日本必会借机作出更恶劣的举动；俄国问题处理的好，日本会有所收敛。李鸿章决定采取拖延的办法来处理琉球问题。随着时间的流逝，加上其他诸多问题的干扰，清政府已无暇顾及琉球，琉球问题慢慢地不了了之。清政府始终没有承认琉球问题的合法性。但是今天，全世界都知道冲绳县是日本的领土。1882年2月，曾纪泽与俄国签订了《中俄伊犁条约》和《陆军通商章程》，挽回了崇厚造成的部分损失。