南宋政权虽然暂时安定了下来，但外有金兵虎视眈眈，随时可能再次南下，内有各地溃兵败将组成的游寇集团和农民的反抗武装，极大中兴四将图地威胁着宋廷的统治。在这种情况下，高宗不得不抛开压制武将的祖宗家法，着意笼络重用武将。当时最有名的将领就是南渡后的“中兴四将”。其中，刘光世出身将门，其父官拜节度使，他本人早年曾随父镇压方腊起义；张俊和韩世忠都是行伍出身，靖康年间就追随赵构，在平定苗刘兵变中又都立有大功；而岳飞则是资历最浅的一位，但是在短短几年间，他的战功和威名就已超越其他诸将，绍兴四年八月，在收复襄汉六郡之后，宋廷授他为清远军节度使，地位与刘光世、张俊、韩世忠不相上下。
高宗是在向金人求和而不得的形势下才重用武将的，其目的只是自卫，并没有北伐恢复的打算。岳飞收复的失地，实际是从金人建立的傀儡政权伪齐手中夺取的。岳飞出兵前，高宗明白他与其他将领只守不攻的作风不同，特地下手诏，告诫他只需收复伪齐所夺之地，千万不可领兵北上，触犯金人，否则就算立下战功，也定要严惩。这一纸诏书，牢牢地束缚了岳飞的手脚，加上岳家军只有不到三万人的兵力，也无力进行北伐，因此岳飞只好在收复襄汉后，率主力退守鄂州。
面对金人的进攻，高宗始终不愿放弃投降求和。尽管绍兴四年以后，岳飞、韩世忠等率军先后击败了金和伪齐的两次南侵，但高宗并不想利用这绝好时机进行北伐，宋军的战果只是为他与金朝议和提供了讨价还价的砝码。就在各地抗金斗争接连取得胜利的时候，高宗派出求和的使臣络绎不绝。绍兴七年年底，宋使王伦从金朝带来了议和条件，金朝要求南宋称臣、交纳岁币，作为交换，金朝答应废黜伪齐，归还徽宗帝后棺木和高宗生母韦氏，归还河南地。高宗得到这个消息，欣喜异常，屈膝求和的决心更加坚定，他再派王伦使金，与金朝商量具体的和谈事宜。
高宗议和的决定遭到了朝野上下的强烈反对，其中几位手握重兵的大将的意见，对于和议能否顺利签定至关重要。绍兴八年八月，高宗召韩世忠、张俊与岳飞入朝，希望说服他们至少不反对和议。张俊向来害怕金兵，在历次对金作战中都极力避免与金兵交锋，其为人又善于岳飞像
逢迎，所以马上表态支持议和。而韩世忠与岳飞则坚决反对，岳飞更是对高宗明确表示：“夷狄不可信，和好不可恃，相臣谋国不善，恐贻后世讥议。”这番义正词严的话不禁使高宗对岳飞心生嫌忌。
其实，在此之前，岳飞已经在两件大事上冒犯了高宗。这位抗金最坚决的大将个性耿直，在战场上有勇有谋，而在政治斗争中却显得缺少心计，太不善于保护自己。
绍兴七年三月，宋廷解除了“中兴四将”之一的刘光世的兵权，高宗本来答应将刘光世率领的淮西军队拨给岳飞指挥，岳飞信以为真，以为这样一来，自己兵力大增，兴奋之余，立即提出要带兵10万，出师北伐，这正犯了高宗的大忌。高宗临时变卦，拒绝将淮西军队交给岳飞。对高宗的出尔反尔，岳飞十分愤慨，一怒之下，他竟然离开本军驻地鄂州，以为母守孝为名上了庐山。在高宗看来，这种行为分明是要挟君主，但当时金兵的威胁尚在，解除岳飞兵权的时机并不成熟，因此高宗不得不再三下诏，对岳飞好言抚慰，敦促其下山。六月，岳飞返朝，向高宗请罪，高宗表示对其宽恕的同时，引用太祖“犯吾法者，惟有剑耳”的话以示警告，言语之中已经暗藏杀机。 高宗给岳飞的手札
第二件事发生在同年八月。返朝不久的岳飞好心建议高宗早立太子。高宗的独子赵旉8年前夭亡，他又在扬州溃退时受了惊吓，失去了生育能力，但高宗时年才30岁，内心仍抱有生育的希望，此时立太子，在他看来无疑是向天下暴露其难言之隐。宋朝的祖宗家法也规定武将不得干预朝政。所以，岳飞的建议一下又触犯了两大忌讳，更加深了高宗对他的忌恨。
这两件事以及在抗金恢复上毫不妥协的立场，为岳飞日后的命运埋下了祸根。绍兴八年，高宗与金朝的媾和活动正紧锣密鼓地进行，文武百官的反对之声日益高涨，只有秦桧极力支持高宗议和。十一月，金朝“诏谕江南使”张通古与宋使王伦南来。金使的称号中将“宋国”称为“江南”，敌对两国互通信息，应称“国信”，金朝却称“诏谕”，显而易见，这是金人故意羞辱南宋。金人接下来的要求更令南宋臣民难以接受，金使居然要高宗跪拜受诏，奉表称臣。为了苟安偷生，高宗对此并不介意，他冠冕堂皇地表示：“只要百姓能免于刀兵之苦，朕可以牺牲自己的体面来换取和议。”然而，岳飞手迹
天子有此“美意”，臣民们却不愿“领情”，朝廷内外群情激愤，抗议运动达到了前所未有的声势和规模，临安市民甚至在街上贴出醒目的榜文：“秦相公（秦桧）是细作（奸细）！”矛头虽然是指向秦桧，实际上表达出对高宗的强烈不满。尽管高宗恼羞成怒，将反对激烈的大臣一一贬谪，但面对舆论的强大压力，他也不能不有所顾忌。十二月，高宗以为徽宗守孝为借口，由秦桧等宰执大臣代他向金使行跪拜礼，接受了金朝的国书。
高宗以为和议之事已成，从此就可以安享太平，便大赦天下，给文武大臣加官晋爵。岳飞在接到升官诏书后，当即上书表示拒绝，提醒高宗不可相信金人，并重申自己率师北伐的宏图大愿。高宗和秦桧此时对岳飞切齿痛恨，除掉岳飞的阴谋已经在酝酿之中了。
果然不出岳飞所料，绍兴十年五月，金人撕毁和议，再次南侵，岳飞率军又奔赴抗金前线。随着金兵在川陕、两淮等地的进攻相继受挫，宋军进入战略反攻，岳飞进军中原。他命原抗金义军首领梁兴等渡过黄河，联络河北义军，结成“忠义巡社”，攻取河东、河北州县，以实现他确立的“连结河朔”的战略方针，同时亲自领兵长驱直入，进驻郾城。七月，金将兀术集结大军，从开封直扑郾城，岳家军以寡敌众，大败金兵。接着，兀术又转攻颍昌，岳飞对此早有防范，事先已命长子岳云前往支援，兀术在颍昌再遭岳家军的沉重打击。岳家军乘胜追击，一直打到了距离开封只有45里的朱仙镇。北方义军也纷纷响应，收复了黄河南北的部分州县。金兵不得不发出“撼山易，撼岳家军难”的慨叹，并打算放弃开封，渡过黄河北逃。
岳家军的接连胜利当然不利于高宗和秦桧与金朝重开和议，他们连下12道金字牌，催促岳飞立即班师。此时，数万岳家军由于收复失地很多，战线过长，兵力分散，而且，其他各路军队也已接到撤军的命令，张俊、韩世忠、刘锜等部陆续班师，岳飞要想在没有后方支援、缺乏友军配合的情况下，孤军深入，收复故土，实是难上加难。在形势和君命的逼迫下，岳飞违心地拒绝了两河百姓要他继续北伐的恳求，奉诏班师。退兵之日，他不禁深深痛惜自己的“十年之力，废于一旦”！这次最有希望的北伐就这样被高宗和秦桧葬送了。
绍兴十一年正月，兀术统领近10万大军卷土重来，直攻淮西。高宗命驻守鄂州的岳飞率军增援淮西，但岳飞援军尚未赶到战场，杨存中与刘锜、王德等已在柘皋大败金兵。张俊准备独吞战功，便打发岳飞等回军，不料兀术命孔彦舟回师攻陷亳州，并重创前来救援的杨存中和王德军，当岳飞率领的援军赶到时，金兵已安然渡淮北上。
岳飞两次赴援淮西，行动似乎都慢了一些，他向以用兵神速著称，这不能不说是极大的反常。究其原因，第一次据说是当时岳飞正患感冒，第二次则是军队乏粮，其中是否夹杂着对高宗阻挠他北伐的不满情绪，就不得而知了。但不管实际情况如何，这件事还是成了后来秦桧陷害他的口实。
淮西之战后，高宗加紧了削夺武将兵权的活动。由于南宋建立以来，他不得不倚重武将外抗金兵，内平游寇，结果造成武将势力崛起，对皇权构成了潜在的威胁。因此，绍兴十一年四月，高宗将张俊、韩世忠和岳飞召到临安，任命张俊、韩世忠为枢密使，岳飞为副使，名为升官，实际是夺去了三大将的兵权，三将所辖军队从此直接听命于皇帝。
接着，高宗和秦桧将迫害的矛头直指岳飞。七月，秦桧死党万俟卨（mòqíxiè）秉承上意，上章弹劾岳飞，他抓住岳飞曾经擅离职守、私上庐山以及没有及时应援淮西等事，大做文章，并把张俊撤除淮东防务的事情栽赃到岳飞头上。岳飞意识到自己处境险恶，上书辞职，恳求高宗“保全于始终”，能放过自己，但高宗对岳飞的厌恶由来已久，根本不打算手下留情。
仅凭上面的几条“罪状”，尚不足以置岳飞于死地，秦桧又指使张俊胁迫岳飞部下王贵、王俊，诬告岳飞爱将张宪密谋要挟朝廷还兵给岳飞，串通谋反。张宪被押送大理寺审讯，严刑逼供之下，张宪仍然不肯屈招。好不容易等来了除掉岳飞的机会，高宗怎能因证据不足就轻易放过？他决定让大理寺审理岳飞一案。十月，岳飞、岳云父子被投入大理寺狱中，御史中丞何铸与大理卿周三畏奉诏审讯。何铸反复讯问，实在得不到任何岳飞谋反的证据，在审讯时，又看到岳飞背部刺的“尽忠报国”四字，深知岳飞的忠心与清白，便向秦桧力辩其冤。秦桧抬出高宗来，明确告诉他：“此上意也。”也就是高宗要置岳飞于死地。何铸愤然道：“我岂是为区区一个岳飞的性命，强敌未灭，无缘无故诛杀一员大将，势必失去军心，决非社稷长久之计！”何铸既然对岳飞下不了毒手，秦桧便奏请高宗，改命万俟卨为御史中丞，锻铸冤狱。岳飞身受酷刑折磨，知道自己根本没有申辩的机会，他在狱中悲愤地写下“天日昭昭！天日昭昭！”八个大字，向高宗和秦桧发出了最后的抗议。
听说岳飞以谋反罪入狱，已经辞官在家、明哲保身的韩世忠再也无法坐视不理，他当面责问秦桧，岳飞谋反的证据究竟何在，秦桧答道：“其事体莫须有。”意思是这件事情大概有吧。韩世忠气愤地说：“‘莫须有’三字，何以服天下！”但是，高宗和秦桧杀害岳飞的心意已决。在高宗看来，除去岳飞，既可以使和谈顺利进行，又能震慑其他武将，收到杀一儆百的效果，真是一举两得。因此，他不惜违背“不杀大臣”的祖宗家法，于绍兴十一年（1141）十二月二十九日，亲自下旨，以毒酒赐死岳飞，张宪、岳云斩首。
岳飞自20岁从军，到39岁被害，一生戎马倥偬，战斗在抗金的最前线，时时不忘以恢复中原为己任。他领导的岳家军纪律严明，骁勇善战，沉重打击了南侵的金兵。有人曾问岳飞，天下何时才能太平，他答道：“文臣不爱钱，武臣不惜死，天下太平矣。”的确，像岳飞这样既不蓄姬妾又不营私财的正派官员，在中国古代社会里是非常罕见的。但是，在当时的情势下，岳飞越是廉洁正直，高宗和秦桧对他就越是忌恨，必欲除之而后快。一代抗金名将最终不是牺牲在战场上，而是死于自己所保卫的朝廷之手，不禁令后世之人对他更生无尽的痛惜和由衷的崇敬之情。