杨玄璬明白，这又是因为女儿之故。再者，他又忖测，此项任命，也可能另外有作用，李林甫用杨鉴来排挤贺知章。他不欲自己的儿子参与到政治派系的斗争中去，于是，他命儿子亲自去见宰相，辞谢新任命。
可是，杨鉴却不舍得放弃这个优职，他见宰相对，只谦逊了一番，并未认真辞谢不受。回家，他告诉父亲，宰相不许辞职。
这使杨玄璬为之气结。
这是天宝二年的初冬，十月新寒，杨玉环偕皇帝去了骊山。骊山，自天宝元年起，建筑了一所新宫殿，祀天神的，宫殿很巍峨，有高楼，为长生殿。但是皇帝另外为之立了一个名字：集灵台。因为宫中的寝殿通常呼为长生殿或长生院，以前，祀神的宫殿也称长生殿，二名相同，李隆基加上集灵台以为分别。
集灵台长生殿是道教的，没有太多的戒忌，杨玉环常常在祀神的新宫殿中游乐。她对父亲的病一无所知，对哥哥升官，很高兴，她曾代表哥哥向皇帝致谢。
这回在骊山，由于杨玉环贪玩不肯回长安，住了三十八天之久。
朝臣中有人记录下这一次皇帝避寒骊山，有“上乐而忘返”之语。这自然是因杨玉环而乐而忘返的。杨玉环曾经顾全一个皇帝的现实，但她又时常很任性。这回，她任性了。有人向皇帝进言，不宜在骊山宫留得太久。杨玉环也知道了，她很不高兴，向先知这一事件的皇帝说：“三郎，有时，你大可不予理会，在骊山，你也一样治事的啊！一个人做了皇帝，一年忙到头，玩一个多月也不可以吗？何况这又不是完全玩，对不？”
皇帝望着她期期地笑，说出：“很是，很是！”
“那些人要多事，由他们去，我们一过了年，再去骊山，看他们怎样？”她发着稚气的牢骚。
皇帝又笑着说：“很是，很是！”而这一回，杨玉环发现了皇帝的“很是，很是”，只是敷衍自己，于是，她嗔了，哼了一声，命人去找时日卷来。
“找时日卷来作什么？”皇帝笑问：“选日子，过了年，哪一天是好日子，我们再上山去！”她说着，皇帝正要接口，她抢着说：“很是，很是！”
于是，皇帝大笑，捏住了她的双手，再说：“不必急，现在离过年，还有半个月哩！”
“我要先行选定日子！不行吗？”她还是有些气恼。
大唐皇帝接受了——杨玉环自己选定了年初六，辛丑日，那是利于行的好日子。她请皇帝预定年初六上午发驾赴骊山，皇帝也答应了下来。
——这是她偶然使一性，皇帝以为很有趣。
进入用天宝年号的第三年，皇帝把年号改为载——称为天宝三载。
年初六，他们又上骊山去了。
对杨玉环来说，这个新年是很有趣的，他们上山的日子，好太阳，天气不太冷，但到骊山的第三天，气候变了，大雪，一夜间，山谷间除了温泉区之外，铺满了白雪，她在积雪上和谢阿蛮同舞。
谢阿蛮的技艺的确很高，她的脚浮陷雪中，但仍能使身体平衡，每次一个脚印，在雪地上留下的痕迹很匀称。至于杨玉环，却无法做到，她好胜，努力学样，终于，她滚跌在雪中，而看她们作雪上舞的皇帝，因杨玉环的滚跌而大乐。
随后，皇帝也冒寒出动，和杨玉环等人堆雪人，他们发动以百计的宫女和内侍堆雪人。
宫廷在欢乐中度新年，朝廷却在人事倾轧中。
先是，在去年底，皇帝准许道士吴筠还山，有一笔相当丰厚的赏赐，正月初，他走了。随驾在骊山的李白，情绪为之低落。接着，秘书监贺知章受到暗暗的压力，自觉再做下去不会讨好，在皇帝批准吴筠还山之后，他由长安城上山，想乞求退休。以他的年龄而乞退休，也很合理的。
皇帝和杨玉环在集灵台长生殿，贺知章是老于官场人事和深知皇帝的性情的，在集灵台内，他灵机一动，把原来请求致仕的方式改变——那是从杨玉环的衣饰而引起的。这一天，杨玉环为了好玩，又着上她平时最厌恶的女道服，自称集灵台主。
贺知章就在谈笑间请求皇帝的恩典，度自己为道士。皇帝度一个人为道士，由皇家供奉，待遇很优厚，退休，虽然仍然可得一半俸禄，却比做道士差得太远了。为了现实，他有需要，再者，他又认为，自己请求度为道士，比请求致仕来得好，皇帝必不会起疑。
“贺卿，你这年纪，真还想做道士？”皇帝轻松地问。
“陛下，女道士宜年轻，男道士，似乎是年纪老一些的好——”他说着，转向杨玉环一揖：“还请妃子勿介意！”
贺知章的话说得很风趣，皇帝点点头，连连说好。
皇帝以贺知章为老臣，历事三伏四帝，给予特恩，许以贺知章的住宅为千秋观，并命举行送行典礼。
当晚，贺知章把自己请求度为道士获准的事告知了李白——这使李白为之错愕不已。
隔了两天，欢乐中的皇帝接到了杨玄璬病中的上表。这是一封特殊的陈情，除了久病乞休之外，并且缕述杨氏家族四世族系，声言本族以长房作为代表，四世以来，俱皆依长房之制承袭财产等等。在这一段之后，杨玄璬才说明叙述世系之原因，以椒房之亲，宜正谱牒。
这表文很突然，李隆基错愕着，倘若是旁人所上，或者会有讽刺皇家的意思，李隆基本身并非长房，但皇帝明白杨玄璬不会作这种无聊的讽刺。再者，他对年纪并不大的杨玄璬的病，也有所疑，因为杨玄璬因病辞官，已不止一次。
他没有将这件事告知杨玉环，也不曾处理事件，他命内常侍偕两名御医同往探疾。
——这是恩命，一般大臣也不易得的。
杨玄璬这回的病是真实的，御医回奏了之后，皇帝终于告知玉环，她不便说自己的家事，请求皇帝于回城后，让自己和哥哥见一次，皇帝自然答允了。
不久，大唐皇帝的老臣，以正三品太子宾客衔，官从三品秘书监的贺知章，一获皇帝准许，就上表告以回乡的日期，于是，皇帝颁下特诏，命太子率六卿庶尹大夫饯行。
这是大唐皇帝历史性的盛典，皇帝本人，先作了一首诗，又附了序文，如下：“天宝三载，太子宾客贺知章鉴知止足之分，抗归老之疏，解组辞荣，志期入道，朕以其年在迟暮，用循卦冠之事，俾遂赤松之游。正月a日，将归会稽，遂饯东路。乃命六卿，庶尹、大夫，供帐青门，宠行迈也。岂惟崇德尚齿，亦励劝人，无令二疏，独光汉册，乃赋诗赠行：遗荣期入道，辞老竟抽簪，岂不惜贤达，其如高尚心；寰中得秘要，方外散幽襟，独有青门饯，群僚帐别深。”
（南宫搏按：全唐诗及纪，唐玄宗此诗序中谓“天宝三年正月五日”，有误，天宝三年，年初一改年为载，玄宗皇帝自己不会再用年字。又正月五日应亦有误，是年正月初六日驾幸骊山，至二月初五庚午始还都城，而饯送贺知章实分作两次，宋蜀本诗序未系日期，依之。）
接着，皇帝于宫内赐宴，饯别，并命预宴的人都作诗赠别，名满天下的大诗人李白，在情绪低落中，草率地写出一首《送贺监归四明应制》的诗。
接着，贺知章离开长安，由太子李亨主持，有一个盛大的送行宴会。八十五岁的贺知章，自女皇帝证圣元年中进士入仕，在官场中经历了五十九年，终于离开了大唐的皇都而回到江南的会稽故乡去。
他身体依然健康。近年，由于李林甫的当权，连贺知章也受到无形的排挤。他离开，是有着依依不舍的。而在近十年间，他的作风也有改变，在生活上狂恣，不再在政治上求进取了。实际上，他并不是文学上的才人，而是政治家。早在开元十三年时，他就同时就任礼部侍郎和集贤学士，当时人认为无比的荣宠，宰相源乾曜当时有意引他入相的，但首席宰相中书令张说，虽然是提擢贺知章的人，又不愿这位有锋芒的才人入相，只称赞他的文才，提高贺知章在文华上的地位，列为清高人物，另引李元绂为相。从此，贺知章转了几次官，都在清高部门，有一次转为工部侍郎，算是失职而降级，随后又很快起来，以太子宾客的荣衔而宫秘书监。他自知拜相无望，年纪又大了，在人们排挤中，趋向狂放，即使这样，在八十五岁的高龄，还是自请作道士而离开。
李白赶到饯行宴，在惆怅中狂饮而送酒中八仙中列首席的朋友，然后，他唱出了下面二十八个字：“镜湖流水漾清波，狂客归舟逸兴多，山阴道士如相见，应写黄庭换白鹅。”
别了，一个集团的首领离开了长安城。
贺知章在秘书监任事兼内职，总是控制皇帝部分机要事务的。他利用自己的地位，也引进四方的才人，使入翰林或其他机构。在朝臣中，他是一派的领袖，显贵如李适之，名望极大的李邕，还有不少有名的文士，和贺知章合在一起，这对李林甫行事是有牵制性的。如今，贺知章这位领袖一走，他的集团等于散了，贵为左相的李适之，没有领导一群人的才能。
这些事，在长安虽然成议论的中心，但是，宫中的杨玉环却全不着意，当贺知章退休而归去时，她在内宫和作秘书少监的哥哥相见了。
她直率地向哥哥说明了自己在宫中的地位，她表示：皇帝会在适当的时候立自己为贵妃，同时，也会对自己的家人有封赠，她要求兄长向父亲说明，求取谅解。
杨鉴处身在夹缝中，他很痛苦，但他又不能不将父亲的意思说明，他告知妹妹，父亲呈明家世，以长房为主，就是为了避免本身受封爵，如果皇帝有封赐，父亲必然会不惜一死而辞，同时，他又表明父亲辞官的决心。