却说上皇闻李辅国与张后内外比附弄权，心中忍耐不住。一日，肃宗来问安，说了些朝务。上皇道：“从来治国必先齐家，今闻阉奴李辅国附比中宫，怙势作威，汝知之否？”肃宗悚然起应道：“容即查治。”言讫而退。原来张后恃宠骄悍，肃宗因爱而生畏，不敢少加声色。李辅国掌握兵柄，阿附张后，倚势弄权。肃宗虽亦心忌之，只是奈何他不得。故虽承上皇严谕，亦隐忍不发。那知上皇这言语，早被内侍们传入李辅国耳中。辅国密地启知张后，各怀怨怒，相与计议道：“上皇深居宫禁，安知此事。此必是高力士妄生议论，闻于上皇故也。力士为上皇耳目，当图去之，更须使官家莫要常与上皇相见，须迁上皇于西内为妙。”却说上皇所居兴庆宫与民间闾阖相近。其西北隅有一高楼，楼上可见街市。上皇时常临幸此楼。街市过往的人，遥望叩拜。
上皇有时以御膳余剩之物，命力士宣赐街市中父老，人都欢乐，共呼万岁。李辅国便借端密奏肃宗道：“上皇居兴庆宫，而高力士日与外人交通，恐不利于陛下。且兴庆宫与民居逼近，非至尊所宜居。西内森严，当奉迎太上居之，庶可杜绝小人，无有他虞。”肃宗道：“上皇爱兴庆宫，今无故迁徙西内，殊拂圣意，断乎不可。”辅国见肃宗不从，乃密启张后。张后将欲上奏，适肃宗偶触风寒，身子不豫，暂罢设朝，只于宫中静养。
辅国遂乘此机会与张后定计矫旨，遣心腹内侍及羽林军士，诣兴庆宫见上皇奏道：“皇爷称兴庆官逼近民居，有亵至尊。故特请驾幸西内。皇爷现在西内候太上驾到。”上皇心下惊疑不决。高力士奏道：“既皇帝有旨来迎，太上可且一往，俟至彼处与皇帝面言，或迁或否，再作计议。”上皇无奈，只得上辇，力士令军士前导，内侍拥护銮舆。将至西内，李辅国前来迎接。
车驾入西内，至甘露殿上。上皇下辇，升殿坐定，问：“皇帝何在？”辅国奏道：“皇爷适间正欲至此迎驾，因触风寒，忽然疾作，不能前来，令奴辈转奏，俟疾稍痊，即来朝见。”说罢叩辞而去。上皇连声叹息。力士道：“今日迁宫之举，必是辅国作祟，皇后主张，非皇帝圣意。”上皇道：“兴庆宫是朕所建，于此娱老，颇亦自适。不意徙居此地，茕茕老身，几无宁处，真可为长叹息。”说罢，凄然欲泪。那时，李辅国矫旨迁上皇于西内，恐肃宗病愈见责，乃托张后先为奏白。肃宗骇然道：“得毋惊太上乎？”张后道：“上皇已安于此，并无他言。”肃宗想张后、辅国如此作为，亦无可奈何。及病小愈，即欲往朝，又被张后阻住。再过数日，肃宗命驾往西内，朝见上皇起居毕。上皇没甚言语，唯有咨嗟叹息。肃宗心上不安，逡巡告退。回至宫中，张后接见，又冷言冷语。肃宗受了闷气，旧病复作。上皇闻知，遣高力士来问疾。肃宗闻上皇有使臣到，即命宣来。哪知张后与辅国正恨力士，要处置他。便遣小内侍假传口谕，教他回去。待力士转身回步后，方传旨宣召。力士连忙再回到宫门，辅国早劾奏说：“高力士奉差问疾，不候旨见驾，擅自转回，大不敬，宜加罪斥。”张后立逼肃宗降旨，流高力士于巫州，不得复入西内。一面遣中官奏闻上皇，一面着该司即日押送力士赴巫州安置。后力士闻上皇晏驾，追念君恩，日夜痛哭，呕血而死。
当时上皇闻力士被罪远窜，益发惨然。左右使令都非旧人。
止有旧乐工张野狐、贺怀智、李等三四人随侍。上皇每日思念梅妃与杨妃，涕泪不已。时有一方士姓杨名通幽，自称鸿都道士，闻上皇追念故妃，因自言有李少君之术，能致亡灵来会。
李闻知，荐于上皇，召入西内，要他作法，招引杨妃、梅妃的魂魄来相见。通幽乃于宫中结坛，焚符发檄，步罡诵经，竭其术以致之，竟无影响。上皇不胜嗟叹。通幽道：“二妃必非凡品，当是仙子降生，故难招来。臣请游神驭气穷幽极渺，寻取仙踪回报。”遂俯伏坛中，运出元神，游行霄汉。忽见一白鹦鹉展翅飞翔，作人言道：“寻人的这里来。”通幽知是仙禽引路，就随其飞而行。忽见一所宫殿，那鹦鹉飞入宫中去了。
通幽见宫门上有金字匾书“蕊珠宫”三字。又见二仙女从内而出，一穿绣衣，一穿素衣。那绣衣仙女指着通幽道：“下界生魂，何由来此？”通幽稽首道：“下方道士，奉上皇命，访求故妃魂魄，今逢二位仙娥，莫非是杨太真、江采苹乎？”绣衣仙女道：“非也，我乃河伯夫人。”指着素衣仙女道：“此位乃龙女也。那江采苹宿原世系蕊珠宫仙女，两度谪落人间，今她尘缘已尽，仍回本处，汝未可得见。那杨阿珠，多作恶孽，安得至此。汝欲访她，可向东行去，自有人指示你。”通幽闻言，望东而去。来到一座高山，遥见苍松之下，坐着三位仙翁，二仙对弈，一仙旁观。通幽上前参谒，叩问三仙姓氏。那位上首的仙翁道：“我即张果，此二位即叶法善、罗公远也。我想上皇今已老矣，也该觉悟，却又命你来访求二妃魂魄，何不洒脱至此。”通幽道：“梅妃在蕊珠宫，弟子适已闻之，只不知杨妃在何处，伏乞仙师指引一见，以便复上皇之命。”张果道：“你可知上皇与杨妃的前因后果么？”通幽道：“弟子未知。”张果道：“上皇宿世乃元始孔升真人，因在太极宫听讲，不合与蕊珠宫仙女相视而笑，犯了戒律，谪生尘凡，罚作女身，即隋宫朱贵儿是也。当时贵儿骂贼而死，天庭最重忠义，应得福报。只因她与隋炀帝有宿缘，又曾私相誓愿来生再得配合，故使转生为开元天子，完此一段誓愿。”通幽道：“请问朱贵儿与炀帝有何夙缘？”张果道：“炀帝前生是只怪鼠，因窃食九华宫皇甫真君丹药，被真君缚于石室一千三百年。
他在石室潜心静修，立志欲作人身，享人间富贵。那孔升真人偶过九华宫，知怪鼠被缚多年，怜他静修已久，劝皇甫真君放他，往生人世，享些富贵，酬其夙志，有此一劝，结下宿缘。
皇甫真君因奏请上帝，将鼠怪托生为炀帝，以应劫运。恰好孔升真人亦得罪降谪为朱贵儿，遂以宿缘而得相聚，不意又与炀帝结下再世姻缘，因又转生为唐天子，炀帝转生为杨妃。那炀帝既为帝王，怪性复发，且有弑逆大罪，上帝震怒，只判与十三年皇位，敕以白练系颈而死，罚转女身，仍姓杨氏，与朱贵儿后身完结孽缘，仍以白练系死，然后还去阴司候结。那弑逆淫暴的罪案，况她为妃子时，又恃宠造孽，罪上加罪。如今她的魂魄已入地狱，要那里去寻她。”通幽道：“原来有这些因果。但弟子怎好把这些话去回复上皇。”叶法善道：“你不妨用饰辞以应之。”通幽道：“饰辞无据，恐不相信。”罗公远道：“要有凭据也不难。我闻得天宝十载，杨妃从上皇避暑骊山宫，于七月乞巧之夕，并坐长生殿庭中纳凉时，已夜半，宫婢俱已寝息，杨妃与上皇相誓，愿世世为夫妇。此事世间无一人知道，你可以此回奏，自然相信。”通幽道：“朱贵儿与炀帝有私誓，遂得再合，今杨妃与上皇也有私誓，来生亦得再合否？”公远道：“贵儿以忠义相感，能如愿。杨妃无贞节，其私誓不过痴情痴念，哪里作得准。”通幽道：“梅妃前因，还求仙师说明，好一并回奏。”张果道：“梅妃即蕊珠仙女，因与孔升真人一笑，谪降人间。两世都入皇宫，在隋时为侯夫人，负才色而不遇主，以至自经再转生为梅妃，方与孔升真人了一笑之缘。如今仍作仙女去了。你今回奏，只说二妃俱是仙女，各各安乐，须劝上皇洗心忏悔，勿昧前因，当复仙位。”言讫，把袖一挥。通幽早于坛中惊醒。遂趋上皇御前启奏说：“梅妃、杨妃俱是蕊珠宫仙女，云：‘上皇系仙真降生，与我有缘，故得聚首，今虽相别，后会有期，不须悲念，奉劝上皇及早明心养性，万岁后，当复仙位。’”上皇听了，心还未信。通幽又把杨妃七夕私誓之言奏上，上皇闻言，始信其真，厚赏通幽。
自此，上皇屏去纷华，辟谷服气，日夕诵经，至肃宗宝应元年夏四月，无疾而崩。肃宗闻知涕泣，病势转重，不久亦崩。
张后欲废太子辅国不从，竟弑张后，立太子，是为代宗。后辅国被刺客刺死。那安、史余贼至代宗广德年间方殄灭。