李适之和李林甫有了矛盾后，李林甫就开始整治李适之。李适之当时还兼任兵部尚书。李林甫就令人向皇上告发兵部铨曹作了贪赃枉法的事，李隆基命令调查此案。李林甫下令将兵部中的六十多名官吏，交给京兆尹和御史进行审讯。但审讯了几十天，竟然没有审讯出什么结果来。京兆尹箫炅命令法曹吉温进行审讯。
当初，吉温当新封县丞时，太子文学薛嶷就向当时还是太子的李隆基，推荐过温吉，称赞过他的才能，李隆基召见了他，在与他言谈中，李隆基发现吉温狡诈阴险，残酷狠毒，就对薛嶷说：“这个人不是一个心的善良的人，我不能用。”萧炅当河南尹时，曾经犯过法，上司派吉温前去审理。吉温把箫炅治得很厉害。等到吉温作了万年丞，时间不久，萧炅就成了京兆尹，成了吉温的顶头上司。吉温怕箫炅整治他，就打起了高力士的牌。吉温同高力士的关系十分密切，高力士从皇宫中回来，吉温想，萧炅一定前去拜访，就先到了高力士的家中，和高力士在一起谈笑，表现的两个人的关系非同一般。萧炅来了以后，吉温假装十分惊讶，要进行躲避。高力士大声说：“吉七没有必要躲避。”又指着吉温对萧炅说：“这也是我的老朋友，”让吉温过来，与萧炅坐在一起。萧炅听了高力士的话，对吉温十分尊敬，不敢再因为以前的事情而怨恨他了。过了几天，吉温前去拜访萧炅说：“以前，审理大人时，以国事为重，对大人做得太过分了。从现在起，我一定一心一意地跟从大人，一定听从大人的吩咐，为大人马首是瞻。”萧炅听了很高兴，于是就与吉温成为好朋友，任命吉温为法曹。后来，李林甫想除掉那些不听从自己的人，寻找一个能够审理案件的人，萧炅就把吉温推荐给李林甫。李林甫得到吉温后，十分高兴。吉温常常对人说：“如果遇到知己的主子，就是南山的白额老虎，我也能将它治罪。”当时，还有一个杭州人叫罗希奭，当官也是歹毒刻薄，凶狠之极，李林甫也把他笼络到自己的门下，由御史台主薄连胜两级，升至殿中侍御史。两个人都按照李林甫的意图，进行审理案件，在他们的严刑下，没有一个人不招供，没有一个人能逃脱的。当时的人们说他们是“罗钳吉网”。
吉温开始审理兵部一案，把兵部的官吏们都叫出来，命人从大牢中提出两个重犯，当着兵部的官吏们的面，对两位犯人进行严刑拷打，一会儿用重棍猛烈地击打犯人，一会儿用大杠用力压犯人的身体，无所不用其极。两个犯人发出一阵阵撕心裂肤的悲叫声，让人无法忍受。兵部的官吏们都知道吉温的残酷，现在看了他对待犯人的手段，但吓坏了，一个个都说：“只要让我们活下去，什么事都听大人的，赶紧给我们拿纸来，我们回答。”他们一个个都按照吉温的要求，作了笔录，一会儿案子就审完了。而查验兵部官吏们的身上，却没有任何伤痕。
通过这一案子，李适之更得不到李隆基的信任了。
韦坚的妻子姜氏，本是李林甫舅舅的女儿。因为这层关系，一开始，李林甫同韦坚的关系很不错，对韦坚进行提拔重用。但当韦坚因为管理船运之事，为皇上运送了大量的物资，受到了皇上的宠信，韦坚就产生了当宰相的念头。再加上，他又和李适之的关系不错，李林甫就开始记恨他了。就将韦坚由转运使升迁为刑部尚书，明升暗降。还有，韦坚的妹妹是太子妃，李林甫想废掉太子李亨，再立新太子，就诬陷韦坚与皇甫惟明有阴谋，想拥立太子登位。于是，李隆基命令吉温对他们进行审讯。之后，贬韦坚为缙云太守，皇甫惟明为播川太守。韦坚等被贬后，李适之害怕了，自己要求不再担任宰相，作了太子少保，一个闲散的职位。
韦坚的弟弟韦兰、韦芝，认为他们的哥哥是冤枉的，要求李隆基为他哥哥讼冤，并要求太子作为证人。李隆基大怒，太子李亨害怕了，上书请求与韦太子妃离婚，与韦家断绝关系。于是，李隆基又将韦坚贬为江夏别驾，将韦兰、韦芝流放到岭南。李林甫又对李隆基说，韦杰与李适之等为朋党。几天后，将韦坚长期流放到临封，将李适之贬为宜春太守，韦坚的亲属以及和韦坚关系密切的人，被贬被流放的有几十人。但李林甫还不死心，又分别上奏李隆基，派出御史到那些被贬之人所在的地方，将皇甫惟明、韦氏兄弟赐死。而罗希奭则从青州到岭南，所过之处，将那些受贬、遭流放的人全部杀死，郡县的官吏们对罗希奭的残酷都惊骇不已。听说罗希奭到了宜春，李适之害怕了，喝药自杀。到了江华，王琚喝药没有死去，又上吊自杀。到了安陆，罗希奭想用恐怖的方式杀死裴宽，裴宽向他叩头求生，才保住了一条性命。李适之的儿子陪着父亲的灵柩到东京，李林甫命令人对他进行诬告，将他用乱棒击死。
至此，李林甫还没有解除对韦坚的痛恨，又派人到韦坚曾经管辖的州县，去寻找韦坚的罪证，将大批的船运夫押入大牢，牢房里人满为患。许多船夫赤裸裸的残死在公堂之上。
左晓卫兵曹柳绩性情豁达豪放，喜爱功名，好结交当时的英俊豪杰，在一起褒贬时政。裴敦复将他推荐给北海太守李邕，李邕和他成为至交好友。柳绩又到京城，结交著作郎王曾，这些人都是当时的名士。柳绩与妻子家的人有矛盾，妻子家的人诬陷他，说他们与东宫太子有勾结，对圣上不满，在一起指责当今圣上。李林甫命令吉温和御史进行审问，审问结果，认定柳绩为主谋，又命令柳绩承认王曾、李邕也是同谋者。将柳绩、王曾杖死，将他们的妻子、儿女流放。又派监察御史去审理李邕，将李邕杀死。李邕是当时的名士，又是朝中的元老，长时间在外地做官，心里不平衡，常常对李林甫不满。李林甫恨他依仗自己的才气，不听他的话，因此，借这个机会将他除掉了。