杨玉环由于受到李隆基的过分宠爱，她的性情开始变了，她不再事事都应合李隆基的，而是像热恋中的许多女人一样，变得越来容易越嫉妒，越来越蛮横，越来越不讲道理了。她开始对李隆基提出种种的限制，不让李隆基去接触宫中的其他妃嫔，如果李隆基与其他妃嫔有了接触，甚至说了几句话，杨玉环就醋劲大发，十分生气，对李隆基撒泼使性子，对李隆基不理不睬。李隆基也渐渐变得有些生气了，他为了维护自己天子的尊严，就命令宦官将杨玉环送回他哥哥杨铣家中。
杨玉环被送出宫中之后，李隆基就开始有些后悔了。杨玉环不在眼前，他像丢了魂一样。变得心绪不定，焦躁不安了，整个人就像被霜打了一样，萎靡不振，情绪不振，没有一点精神，干什么都没有了兴致。已经到了中午了，宦官们将早饭送来了一次又一次，换了一次又一次，可李隆基就是不想吃早饭。他觉着身边的人越来越惹他心烦，干起事来一个个笨手笨脚，做事情总不合他的心意。他一连几次下命令，把那些做事情不合他心意的人进行了毒打，但心里还是觉着别别扭扭的，像塞了一块东西似的不舒服。他后悔自己不该把杨玉环赶回家中，想把她结汇来，但碍于面子，开不了口。高力士明白了李隆基的心思，就请李隆基下令，将杨玉环院子中藏有的所有贵重东西，都装上车给杨玉环送去，整整送去了几百车子。但李隆基还觉着这样做还不够，自己还感到有些愧疚，他要亲自为杨玉环做点什么，才能弥补自己的过失。于是，他亲自将自己的御膳分成两份，命人送给杨玉环一份。到了夜里，李隆基仍然是六神无主，坐立不安，他更加思念杨玉环。高力士给李隆基找台阶，他趴伏在地上，向李隆基恳求，去接杨玉环回宫，李隆基很快就同意了。于是，李隆基下旨，打开后宫的大门，将杨玉环隆重地迎回宫中。经过了这一番感情波折，李隆基对杨玉环更加宠爱了，一门心思全放在杨玉环的身上，后宫中的其他妃嫔再也见不到李隆基了。
由于宠爱杨玉环，李隆基爱屋及乌，对杨玉环的三个姐姐也宠爱有加。杨玉环的三个姐姐不仅仅一个个长得貌似天仙，而且都会吹拉弹唱，才艺不凡。李隆基对杨家三姐妹也进行了加封，封嫁给崔氏的那位为韩国夫人，嫁给裴氏的那位为虢国夫人，嫁给柳氏的那位为秦国夫人。李隆基在皇宫中，见杨氏三姐妹时，就像普通人家那样，称三位夫人为大姨，李隆基同她们在一起，亲密程度就像是一家人。杨家三姐妹也经常出入皇宫禁地，她们也都受到李隆基的极度宠爱。杨氏三姐妹因为受到李隆基的宠爱，也身价倍增，在朝野内外成了炙手可热的人物。三位夫人进宫见李隆基时，公主们都要站立在一边，不敢坐下。杨氏三姊妹和杨铣、杨锜这五家，家中有什么事情需要处理，只需派一个家奴去告诉知府、县令们一声，知府、县令们得到了消息，就会立即亲自带人前去办理，办理的速度要比上级衙门下公文催办的事情要快得多。全国各地的大小官员们，前来对杨家进行贿赂的车辆，挤满了杨家五兄妹的门前。行贿的人争先恐后，一个个都害怕落在别人的后面。杨家五兄妹的门前，整日整夜，门庭若市。京城中各位王公贵族及百官的子孙们，结婚喜庆了，想让李隆基写个字、说句吉利话，都先用一大笔钱去贿赂韩国夫人和虢国夫人，由她们向李隆基提出请求。而她们的请求李隆基是没有不批准的。
李隆基赏赐给杨家五兄妹的东西，四方官员所进献给杨家五兄妹东西，每次都是五份，五份都是一样。这五家互相竞争着在京城建筑豪华的别墅，每座别墅都极其壮丽，一座别墅都超过千万元。但当别墅建成了，如果发现别人家的别墅有比自己的别墅漂亮的，就立即将刚盖好的别墅拆掉，再重新建造，一定要超过所有的人家。在杨氏五兄妹中，虢国夫人尤为奢侈霸道，她看上了大臣韦嗣立房子的地址，就向韦嗣立索要，韦嗣立不同意。一天，虢国夫人就带领着一大群泥、瓦、工匠，径直闯入韦嗣立的家中，拆掉韦嗣立的旧房子，在上面建造自己的新房子，将韦嗣立赶到别的地方。
天宝九年，杨玉环又同李隆基闹别扭，严重违抗了李隆基的旨意，惹怒了李隆基。李隆基又将杨玉环送回家中。之后，李隆基的情绪又变得极坏。朝中大臣们纷纷托宦官进言，劝说李隆基，李隆基又开始后悔了，他派宦官给杨玉环送去御膳。杨玉环回家后，知道这一次把李隆基真的激怒了，也十分后悔，担心以后真的不能进宫了，在家中也焦躁不安。见到李隆基派来的宦官，禁不住痛哭流涕。她哭着对那位宦官说：“臣妾所犯的罪过应该被处死，陛下没有让臣妾死去，而让臣妾回到家中，臣妾十分感激。从今以后，臣妾将永远离开皇宫了，臣妾想对陛下表达自己的感激之情，但这些金、银、珍珠、宝物，都是陛下赏赐给我的，陛下也不会稀罕，臣妾也不想把它们献给陛下。只有臣妾的头发，是父母给的，属于臣妾自己，臣妾就把头发献给陛下，来表示臣妾对陛下的一片诚心。”说完，就在自己浓浓的乌发上剪下一缕青丝，交给那位宦官。宦官拿着那绺头发回到宫中交给李隆基。李隆基见了，心如刀割，立即命令高力士将杨玉环迎回宫中。从这以后，李隆基对杨玉环的宠爱更深了。
天宝十年，杨氏五兄妹在夜里外出游玩，和广平公主相遇。杨氏兄妹的家奴和太平公主的家奴争着先进西市大门，互不相让，打了起来。杨氏家奴的鞭子打着了公主的衣服，公主从马上掉了下来。驸马程昌裔从马上下来扶公主，也被杨氏家奴打了几鞭子。第二天，太平公主向李隆基哭诉，李隆基下令将杨家的那位家奴乱棍打死。但是，杨氏姊妹又在李隆基面前说驸马的不是，第二天，李隆基免了驸马的官，不准他再进宫觐见了。