延佑初，永嘉滕生名穆，年二十六，美风调，善吟咏，为众所推许。素闻临安山水之胜，思一游焉。甲寅岁，科举之诏兴，遂以乡书赴荐。至则侨居涌金门外，无日不往于南北二山及湖上诸刹，灵隐、天竺、净慈、宝石之类，以至玉泉、虎跑、天龙、灵鹫。石屋之洞，冷泉之亭，幽涧深林，悬崖绝壁，足迹殆将遍焉。七月之望，于曲院赏莲，因而宿湖，泊雷峰塔下。
是夜，月色如昼，荷香满身，时闻大鱼跳掷于波间，宿鸟飞鸣于岸际。生已大醉，寝不能寐，披襟而起，绕堤观望。行至聚景园，信步而入。时宋亡已四十年，园中台馆，如会芳殿、清辉阁、翠光亭皆已颓毁。惟瑶津西轩岿然然独存。生至轩下，倚栏少憩。俄见一美人先行，一侍女随之，自外而入。风鬟雾鬓，绰约多姿，望之殊若神仙。生于轩下屏息以观其所为。美人言曰：“湖山如故，风景不殊，但时移世换，令人有《黍离》之悲尔！”行至园北太湖石畔，遂咏诗曰：
湖上园林好，重来忆旧游。
征歌调《玉树》，阅舞按《梁州》。
径狭花迎辇，池深柳拂舟。
昔人皆已殁，谁与话风流！
生放逸者，初见其貌，已不能定情。及闻此作，技痒不可复禁，即于轩下续吟曰：
湖上园亭好，相逢绝代人。
嫦娥辞月殿，织女下天津。
未会心中意，浑疑梦里身。
愿吹邹子律，幽谷发阳春。
吟已。趋出赴之。美人亦不惊讶，但徐言曰：“固知郎君在此，特来寻访耳。”生问其姓名，美人曰：“妾弃人间已久，欲自陈叙，诚恐惊动郎君。”
生闻此言，审其为鬼，亦无所惧。固问之，乃曰：“芳华姓卫，故宋理宗朝宫人也。年二十三而殁，殡于此园之侧。今晚因往演福访贾贵妃，蒙延久坐，不觉归迟，致令郎君于此久待。”即命侍女曰：“翘翘，可于舍中取裀席酒果来，今夜月色如此，郎君又至，不可虚度，可便于此赏月也。”翘翘应命而去。
须臾，携紫氍毹，设白玉碾花樽，碧琉璃盏，醪醴馨香，非世所有，与生笑谑笑咏，词旨清婉。覆命翘翘歌以侑酒。翘翘请歌柳耆卿《望海潮》词，美人曰：“对新人不宜歌旧曲。”即于席上自制《木兰花慢》一阕，令翘翘歌之曰：
记前朝旧事，曾此地，会神仙。向月砌云阶，重携翠袖，来拾花钿。繁华总随流水，叹一场春梦杳难圆。废港芙渠滴露，断堤杨柳垂烟。两峰南北只依然，辇路草芊芊。恨别馆离宫，烟销凤盖，波浸龙船。平时银屏金屋，对漆灯无焰夜如年。落日牛羊垅上，西风燕雀林边。
歌竟，美人潜然垂泪，生以言尉解，仍微词挑之，以观其意。即起谢曰：“殂谢之人，久为尘土，若得奉侍巾栉，虽死不朽。且郎君适间诗句，固已许之矣。愿吹邹子之律，而一发幽谷之春也。”生曰：“向者之诗，率口而成，实本无意，岂料便为语谶。”良久，月隐西垣，河倾东岭，即命翘翘撤席。美人曰：“敝居僻陋，非郎君之所处，只此西轩可也。”遂携手而入，假寝轩下。交会之事，一如人间。将旦，挥涕而别。
至昼，往访于园侧，果有宋宫人卫芳华之墓。墓左一小丘，即翘翘瘗也。生感叹逾时。
迨暮，又赴西轩，则美人已先至矣。迎谓生曰：“日间感君相访，然而妾止卜其夜，未卜其昼，故不敢奉见。数日之后，当得无间矣。”
自是，无夕而不会。经旬之后，白昼亦见。生遂携归所寓安焉。已而生下第东归，美人愿随之去。生问：“翘翘何以不从？”曰：“妾既奉侍君子，旧宅无人，留其看守耳。”生与之同回乡里，见亲识，绐之曰：“娶于杭郡之良家。”众见其举止温柔，言词慧利，信且悦之。美人处生之室，奉长上以礼，待婢仆以恩，左右邻里，俱得其欢心。且又勤于治家，洁于守己，虽中门之外，未尝轻出。众咸贺生得内助。
荏苒三岁，当丁巳年之初秋，生又治装赴浙省乡试。行有日矣，美人请于生曰：“临安，妾乡也。从君至此，已阅三秋，今愿得偕行，以顾视翘翘。”生许诺，遂赁舟同载，直抵钱塘，僦屋居焉。至之明日，适值七月之望，美人谓生曰：“三年前曾于此夕与君相会，今适当其期，欲与君同赴聚景，再续旧游可乎？”生如其言，载酒而往。
至晚，月上东垣，莲开南浦，露柳烟篁，动摇堤岸，宛然若昔时之景。行至园前，则翘翘迎拜于路首曰：“娘子陪侍郎君，遨游城郭，首尾三年，已极人间之欢，独不记念旧居乎？”
三人入园，同至西轩而坐。美人忽涕泪而告生曰：“感君不弃，侍奉房帷，未遂深欢，又当永别。”生曰：“何故？”对曰：“妾本幽阴之质，久戚阳明之世，甚非所宜。特以与君有夙世之缘，故冒犯条律以相从耳。今而缘尽，自当奉辞。”生惊问曰：“然则何时？”对曰：“止在今夕耳。”生凄惶不忍。美人曰：“妾非不欲终事君子，永奉欢娱。然而程命有限，不可违越。若更迟留，须当获戾。非止有损于妾，亦将不利于君。岂不见越娘之事乎？”生意稍悟，然亦悲伤感怆，彻晓不寐。及山寺钟鸣，水村鸡唱，急起与生为别，解所御玉指环系于生之衣带，曰：“异日见此，无忘旧情。”遂分袂而去，然犹频频而顾，良久始灭。生大恸而返。
翌日，具肴醴，焚镪楮于墓下，作文以吊祭之曰：
惟灵生而淑美，出类超群。禀奇姿于仙圣，钟秀气于乾坤。粲然如花之丽，粹然如玉之温。达则天上之金屋，穷则路左之荒坟。托松楸而共处，对狐兔之群奔。落花流水，断雨残云，中原多事，故国无君。抚光阴之过隙，视日月之奔轮。然而精灵不泯，性识长存。不必仗少翁之奇术，自能返倩女之芳魂。玉匣骖鸾之扇，金泥簇蝶之裙。声泠泠兮环佩，香蔼蔼兮兰荪。方欲同欢而偕老，奈何既合而复分！步洛妃凌波之袜，赴王母瑶池之樽。即之而无所睹，扣之而不复闻。怅后会之莫续，伤前事之谁论。锁杨柳春风之院，闭梨花夜雨之门。恩情断兮天漠漠，哀怨结兮云昏昏。音容杳而靡接，心绪乱而纷纭。谨含哀而奉吊，庶有感于斯文。呜呼哀哉，尚飨！
从此遂绝矣。生独居旅邸，如丧配耦。试期既迫，亦无心入院，惆怅而归。亲党问其故，始具述之，众咸叹异。生后终身不娶，入雁荡山采药，遂不复还。