高力士，祖籍是潘州（今广东茂名）人氏，本来姓冯，名字叫元一，是隋朝名将冯盎的曾孙。冯盎因为文武韬略过人，被隋文帝杨坚授为金紫光禄大夫，官拜汉阳太守，管辖岭南一带。隋末唐初，各地起义军、地方势力纷纷兴起，隋朝对许多地方已经无力控制。隋朝灭亡以后，岭南一带的各种势力大多数被冯盎或消灭或收伏，最后，岭南被冯盎控制。当时，有人曾经向冯盎提出建议，大唐王朝刚刚建立，还没有能力顾及避远的岭南地区，劝冯盎自立为南越王，独霸一方。这个建议被冯盎拒绝了，唐高祖武德四年，冯盎归附了唐朝。唐高祖李渊让冯盎仍旧管理当地事务，并晋封冯盎为吴国公，不久，改封为越国公。他的两个儿子也分别被授予刺史。贞观二十年，冯盎去世。嗣圣元年，冯家又增添了一个小生命，取名为冯元一，他就是后来的高力士。他是冯盎的曾孙。
唐长寿三年，有人向武则天诬告说，流放到岭南的一些人正在密谋造反。武则天命令万国俊前去查处。万国俊到后，将被朝廷流放的300多人全部斩杀。而那些和流放的人有来往的，也受到了株连。潘州刺史冯君衡（冯元一的父亲）因受牵连而被抄家，家中的许多人被斩首。冯元一因为当时仅仅十岁，没有被杀死，但也没有逃过一劫，被阉割了，改名为力士，送入宫廷，做了一名小太监。
当时的武则天，操纵朝廷政权已经有四十多年了。在四十年的宫廷勾心斗角中，她已经耗尽了大部分精力，精神常常处于郁闷、烦躁之中，希望有人能够给她解闷。力士入宫后，因为行事聪慧、口齿伶俐，得到了武则天的喜欢，武则天让他留在了身边，给她消遣解闷。
不久，力士因受一桩案子的牵连，被鞭挞后逐出了皇宫。老宦官高延福收养了他，他成了高延福的义子，从此，改姓高，叫高力士。高延福与武三思的交情很深，经常有来往，高力士也就能经常出入武三思的家，并获得了武三思的好感。通过武三思，武则天又把高力士召回了皇宫。
经过一番挫折，高力士认识到宫廷生活的险恶。从此，他待人处事十分谨慎，遇事总是三思而后行，再也没有出过什么差错，又重新获得了武则天的信任。高力士在宫中逐渐长大成人，他体健貌伟，身高六尺五寸，说话办事善解人意，被提拔为宫闱丞。
高力士是一个很有心机的人，他观察着朝中政局的变化，寻找着自己的靠山，小心翼翼地决定着自己的每一步行动。晚年的武则天宠幸张昌宗、张易之两兄弟。二张倚仗自己得宠，时常横行不法，激起了朝中许多大臣的不满。本来就遭到不少人反对的武则天，此时的政治根基就更加不稳了。高力士感到依靠武则天的时间不能长久，就不露声色地开始寻找新的靠山。
李隆基，才智过人，仪表非凡，喜欢结交豪杰，年轻时就显露出出众的才华。武则天对李隆基也十分青睐，封他为临淄王。高力士看出李隆基是一个有前途的人物，于是就努力结交李隆基。
武则天病重后，宰相张柬之发动了宫廷改变，诛杀了二张兄弟，逼迫武则天退位，让中宗李显复位。中宗复位后，册立韦妃为皇后。韦皇后和武三思勾搭成奸，毒死了中宗，韦氏临朝称制。李隆基遂同姑母太平公主等人密谋策划，杀了韦后及其同党，高力士也参入了这次行动。李旦登上皇上宝座。李隆基被立为皇太子。李隆基为太子后，立即把高力士收拢到自己身边。
李隆基即位后，太平公主阴谋发动政变，废黜李隆基。李隆基与兵部尚书郭元振、龙武将军王毛仲及高力士等磋商决定，先发制人。李隆基派高力士和王毛仲率三百精兵，诛杀太平公主的党羽。太平公仓皇出逃，三天后，被高力士和王毛仲捕获，押回宫中，被迫自尽。
在这次平定内乱中，高力士参与了谋划、作战。平定太平公主之后，论功授爵，高力士被任命为右监门将军、行内侍省事，三品官阶。
唐代初期，唐太宗李世民曾定下制度，内侍不授予三品官，都穿黄色衣服，由官府供给粮食，他们的任务就是守门庭、传递传递诏书。中宗的时候，宦官开始受到了宠幸，七品以上的有一千多人，但三品以上的还很少。李隆基因为高力士平息太平公主的叛乱有功，破格授予他三品官阶。
之后，曾经参与评定太平公主叛乱的霍国公王毛仲，因为李隆基的宠爱，越来越骄横跋扈，做一些违法的事，但李隆基常常原谅他。王毛仲与左领军大将军葛福顺等来往密切，葛福顺等倚仗他的势力经常做违法乱纪之事。而王毛仲也贪心不足，向李隆基提出，要当兵部尚书。他的要求没有被批准，心里很不高兴，不满的情绪常常在李隆基面前表现出来。
当时，李隆基已经十分宠信宦官，一般的官吏见了宦官都十分害怕，但王毛仲看不起宦官，那些小宦官，如果做了错事，王毛仲经常对他们进行打骂，宦官们对王毛仲都十分仇恨。但高力士等因为李隆基宠信王毛仲，而不敢说什么。
王毛仲的妻子生了个儿子，李隆基命令高力士到王毛仲的家中，赏赐给了王毛仲很多东西，并授给刚出生的儿子五品的官职，王毛仲嫌授给他儿子的官职小，在高力士面前露出了不满的神情。高力士回来后，李隆基问高力士：“王毛仲高兴吗？”高力士回答说：“王毛仲抱着襁褓中的孩子对奴才说：‘这个孩子难道不能做三品！’”李隆基勃然大怒说：“想当初，株灭韦氏时，他就脚踏两只船。之后，我不想对他另眼相待，没想到，他现在又因为一个刚出生的小孩子而抱怨我！”高力士趁机说：“王毛仲等这些人，现在的官职太高，又掌握着京城的军权，且他们关系十分密切，基本上是一个心眼，如果不早早把他们除去，一定会成为大患。”李隆基也害怕王毛仲等结党营私，对自己不利。不久，李隆基就借故下旨，将王毛仲等贬出京城。时间不长，又将王毛仲赐死了。