李林甫当上宰相之后，又推荐牛仙客为工部尚书，同中书门下平章事。李林甫想堵塞皇帝了解下情的渠道，不想让群臣们向皇上进谏，以便自己独揽大权，把持朝纲。一天，他明目张胆地把谏官们召集在一起，对谏官们说：“当今圣上圣明睿智，远远超出我们这些人之上，我们仅仅领会听从圣上的旨意，还常常来不及，更不用说给圣上进谏提意见了。从今以后，你们这些人都不需要再对皇上进行多言了，都老老实实的不要多说话。你们难道没有看见，朝堂外面那些做为仪仗摆设的马匹吗？那些整天都不叫一声，老老实实站在那儿的马，管理马的就给它好吃好喝的，让他继续站在那里。那些高声叫唤的，就被赶出了仪仗队的行列，或者被杀掉，或者去耕地做重活。”补阙杜琎（补阙是谏官的官职）不害怕李林甫的权势，没有听李林甫的话，又对皇上发表意见，立即被李林甫贬为县令，赶出了朝廷。从那时开始，谏官们没有人再敢想皇帝进谏的了，李林甫堵塞了皇帝了解情况的渠道，开始自己独揽朝廷大权。
监察御史周子谅，弹奏牛仙客没有宰相的才能，不是做宰相的材料，并引用谶书上的话来作为证明。李隆基听了勃然大怒，命令身边的人，在朝廷上对周子谅进行杖击，将他打得昏死了过去。周子谅苏醒过来后，又被杖击着赶出朝廷，并下旨进行发配。周子谅到了蓝田就死了。但李隆基的怒气依旧未消。李林甫就对李隆基说：“周子谅是张九龄推荐上来的人，和张九龄是一伙的。”李隆基又把余怒撒在张九零的身上，把张九龄贬为荆州长史。
当初，李隆基作临淄王时，赵丽妃、皇甫德仪、刘才人等都受到李隆基的十分宠幸。赵丽妃生了太子瑛，皇甫德仪生了鄂王瑶，刘才人生了光王琚。李隆基即位当上皇帝后，就开始宠幸武惠妃了，赵丽妃等人就失宠了。武惠妃生了儿子李瑁，李隆基对他的宠爱超过其他的皇子。太子李瑛、鄂王李瑶、光王李琚，三个人都因为自己的母亲失宠、遭受冷落而对李隆基有些不满，兄弟三个常常聚在一起，说一些对李隆基不满意的话。驸马都尉杨洄，跟武惠妃走得很近，他时时刻刻都在搜集、寻找着太子的过失，去报告武惠妃。杨洄听到太子等对李隆基不满的话后，立即禀告了武惠妃。武惠妃就在李隆基的面前，哭着对李隆基说：“太子嫉妒陛下宠爱我们娘俩个，想除掉我们。现在，太子正在暗中发展势力，勾结党羽，正图谋害死我们母子。”李隆基听了之后，十分愤怒，就与宰相张九龄商量，想废除太子李瑛，把他贬为庶人。宰相张九龄上奏说：“太子是国家的储君，关系到国家将来的安慰。废立太子是十分重大的事，一定要谨慎。如果有真凭实据，证明太子有不可饶恕的罪行，那应另当别论。但事实上，现在太子一直生长在皇宫里，天天受到陛下的亲自教诲，且太子喜欢读书，知书达理，孝敬恭顺，并没有什么明显的过错，陛下怎么仅凭一些无凭无据的话，就要废掉太子呢？我不敢听从陛下的旨意。”张九零又用历史上一些君王，更换太子而引发的悲剧，对皇上进行了恳切的进谏，让他不要废掉太子。李隆基听了很不高兴。张九龄在进谏时，李林甫也站在一边，但他脸上没有任何表情，也不说一句话。但等张九龄离去之后，李林甫立即对李隆基说：“废立太子，这是皇上的私人家事，不用同外人商量，陛下自己决定就行了。”
武惠妃听说了张九龄不赞同废太子的事，就派宦官对张九龄说：“有废就有兴。如果宰相能够帮助废除太子瑛，立皇子瑁为太子，宰相的位置可以保持长久。”张九龄听了，对宦官进行了怒斥，并把宦官的话禀告了李隆基。李隆基听了，脸色也变了，放弃了更换太子的念头。在张九龄任宰相期间，李隆基没有废掉太子瑛。
开元二十五年，杨洄又一次诬告太子瑛、等，说他们与太子妃的哥哥暗中勾结，图谋不轨。李隆基召宰相李林甫进行商量，是否应该废掉太子瑛，李林甫早就盼望着废掉太子瑛，看到李隆基有意要废掉太子瑛，就说：“这是陛下家里的事情，不是做为臣子应该参与的，这件事就陛下自己决定吧。”李隆基听了李林甫的话，最后下了决心，把太子瑛等三人贬为庶人。很快，李隆基又下了一道旨，将太子瑛、鄂王瑶、光王琚三人赐死，并牵连了一大批官员。
李隆基废掉了太子李瑛以后，李林甫多次劝李隆基立寿王李瑁为太子。李隆基觉得忠王李亨年龄长，且仁爱、恭敬、孝顺、谨慎，且有好学，想立忠王为太子。但听了李林甫的一次次劝告，又拿不定主意，害怕朝臣们有意见，发生事端。李隆基拿不定主意，考虑了很长一段时间，最后询问高力士。在高力士的建议下，李隆基立长子李亨做为太子。
李林甫想立李瑁为太子的阴谋没有得逞，他是即悔恨又害怕。他同李亨的关系不好，知道李亨十分恨他、讨厌他，害怕将来李亨登位执政后，灾难会降临到自己的头上，他就又策划新的阴谋，想废掉太子李亨，再另立一个同自己关系密切的太子。
他采取迂回战略，先和太子妃的兄长韦坚进行结交，同他经常在一起，成为好朋友，向李隆基推荐，任命他担当重要的职位，通过韦坚，时时探听太子李亨的消息，掌握太子的一举一动。皇甫惟明是太子李亨的朋友，当时，在边关为将，大破土蕃，到朝廷报捷。看到李林甫独霸朝纲，心中气氛不平，就悄悄劝告李隆基，除掉李林甫。李林甫知道后，命令人暗中监视皇甫惟明的一举一动。正月的一个明月之晚，太子外出游玩，遇到了韦坚，两人自然免不了一番交谈。之后，韦坚与太子分开，又和惟明在景龙观道士室相遇。跟踪的人向李隆基告发了这件事，认为韦坚是皇亲国戚，不能与边关的将领过分亲密联系。李林甫就乘机诬告韦坚与惟明，在一起共谋，想推翻李隆基，立太子为皇帝。李隆基大怒，命令将韦坚和惟明下狱，进行审问。李亨为了保全自己，当机立断，与韦妃断绝夫妻关系不久。不久，朝廷将韦坚和惟明都贬为太守。