次日文广升厅坐定，四子一齐跪下禀曰：“告爹爹得知，可恨张茂排陷吾家，今夜儿等要把他家满门老幼尽行诛之。”文广喝曰：“方受皇恩，荣耀满朝莫敌。若干此等事，王法无情，岂相饶乎。那时莫说恩荣，免死亦难，决不可为。”公正等诺诺而退。
怀玉曰：“三位哥哥在上，此事只宜暗暗行之，莫使爹爹知道。”于是商议已定，直至元丰二年，端阳之夜，怀玉等将黑搽脸，扮作强人，打入张茂府去，将家属尽皆杀之，止走了范夫人。范夫人次日进奏神宗，神宗大惊，命殿前检点卞之勇满城搜拿，捕捉十日，不见些儿形迹。范夫人复奏神宗，神宗问群臣：“今捕拿了贼人否？”群臣奏曰：“不见下落。”神宗曰：“国之大臣被人杀死，访拿不出，岂可置之不问而遂已乎！如此，即是没了王法，安用朕为！”乃大怒，命钦天监官，夜观天象，看凶星落于何处。又命武士四门严捕。
是夜，钦天监官刘江上司天台，仰观天象，看后大惊，星夜迳到杨府叫门。守门者问曰：“汝是谁？”刘江曰：“代禀国公，钦天监官有机密事来禀。”
却说怀玉干了此事，亦提防朝廷捕缉，乃出宿于府门廊下，听见外面叩门，遂起来看之，正撞遇守门人进禀。怀玉曰：“禀什么事？”守门者曰：“钦天监官刘江，来禀什么机密事。”怀玉曰：“汝去看，只一人放他入来。如人多，回复明日来禀。”守门者出到门边，从门缝里一睄，只见是刘江一人，遂开门延入。刘江与怀玉相见，言曰：“小官领圣旨，夜观天象，杀死张丞相的凶星，正照老爷府上，为此先来通报。”怀玉曰：“我家没有是事，动劳大人爱厚，容日叩谢。”刘江辞别去了。
是夜，怀玉聚集兄弟姊妹商议，言曰：“适闻钦天监刘江到府来说，杀张茂凶星，正照我家。彼未奏君，先来通闻。我想明早他奏知圣上，圣上定行拿问。朝廷听信谗言，我屡屡被害，辅之何益！且佞臣何代无之，他们恃是文臣，欺凌我等，武夫受几多呕气！依我之见，趁今圣上未曾下令拿问，鸠集家兵，悉行走上太行山，却不斩断愁根乎！只有一件，爹爹病重，惊动了他，必竟闷死，怎生区处？”宣娘曰：“那倒无妨，我将安云车一辆载之，犹如平地安稳，万无一失。但汝父忠勇，闻知此事，必执汝等入朝待罪。”公正曰：“吩咐众人，莫将此事告之。乞姑娘进去问病，诳爹爹入了安云车内，我等即便起行。”言罢，宣娘入文广卧房问曰：“贤弟病势何如？”文广曰：“料不济事。”宣娘曰：“贤弟起来，另迁于净室居卧，付大小事务于不闻，屏绝鸡犬人言声息，自可避无恒矣。”文广不知是计，爬起来，扶着宣娘入于安云车内讫。是夜，怀玉命家人众护卫军士，收拾宝物辎重，车载马驮，整备停当，竟望太行山进发。
次早，范夫人又进奏曰：“妾访得强贼，乃无佞府杨怀玉等，搽黑其面，抢进妾府，杀了全家。乞陛下敕旨拿之。”蔡京曰：“若论仇隙，亦有可疑。但难拘定是他家杀了，必待钦天监官来奏便知端的。”言未罢，刘江进奏说道：“凶星照着杨府。”神宗大怒，下命孙立倾羽林军三千，围住杨府，把杨门全家拿来，戮弃于市。旨意才下，巡守外边城御史汪万顷奏曰：“杨府举家五鼓时候，城门一开，尽皆涌出，竟望太行山去了。”周王大惊曰：“国有佞臣，忠良难立。曩者张茂有书，冒奏欺君陷害忠良，罪亦当斩。陛下宠嬖，不行究问。那时已不服杨府众人之心矣。今日茂死，罪人未获，杨府知陛下毕竟不肯干休，恐祸及于彼，是以高蹈远举，全身远害，飘然不恋爵禄，走上太行。但将来四夷叛乱，再遣何人讨之？”神宗曰：“此事何以处之？”周王曰：“依臣之言，发下诏书，召回杨怀玉等，仍居无佞府中。敕赐重修天波楼，张茂之死等情俱罢不究，庶几可以挽回其心。”神宗允奏，郎修诏与周王赉往太行，召回杨怀玉等，赦除前罪。
周王得旨，竟齎往太行山而去。不日到了，怀玉等接见。周王曰：“圣上有诏，跪听宣读。”怀玉等忙排香案，整朝服接旨。周王读罢，怀玉等接见诏，叩头谢恩毕，于是整酒陪周王。周王席上问曰：“国公何在？”怀玉曰：“老父患病甚重，只在旦夕谢尘。”周王曰：“待我进去一看何如？”怀玉曰：“不敢劳动。”周王曰：“内家亲眷，岂有此说。”怀玉曰：“殿下切莫言上太行山一事，倘若言之，老父必闷死矣。”周王曰：“又说鬼话，他今日身居太行，犹不知之，尚待我以告之乎？他既不知，当日怎生得他上来？”怀玉遂将安云车一事告之。周王允诺。及见文广，言曰：“老丞相病体何如？”文广曰：“动劳殿下垂念，料不久归泉下矣。只是报答殿下之恩，耿耿在怀。”言罢，两泪交颊。周王见其情词真切，势甚危笃，亦挥泪言曰：“老国公忍耐些儿。”其心亦恐惊伤文广，遂将上太行山等事隐而不言。乃辞出，谓怀玉曰：“圣旨来召回汴，汝等可作急起行。”怀玉曰：“臣宁死于此而不回矣。”周王曰：“汝不回去，甘为背逆之臣，以负朝廷乎？”怀玉曰：“恕臣诳言之罪，略有苦情，一一启殿下听之。若以理论，非臣等负朝廷，乃朝廷负臣家也。始祖继业，王侁排陷狼牙，撞李陵之碑而死。七郎遭逢仁美，万箭攒身而亡。六郎被王谢之害，充军充徒。迨及狄青、张茂，吾祖父贬职削官。圣主不明，词章之臣密迩亲信，枕戈之士辽隔情疏，不得自达。谗言一入，臣等性命须臾悬于刀头。此时圣主何曾少思臣等交兵争斗之苦而加矜恤？此岂臣造为虚谬之谈，以欺殿下乎！”有诗为证：
餐风宿露统军时，万种愁怀只自知。
剪发接缰牵战马，折衣抽线补旌旗。
争雄授命耽饥会，角力伤刀负痛归。
圣主那怜征战苦，谗言一入即分尸。
周王听罢，闻曰：“汝既不肯回朝，敢怕要去辅佐番邦？”怀玉曰：“直道而事人，焉往而不三黜；枉道而事人，何必去父母之邦。此古人之明训也。臣家世代性俱刚介，不肯阿附权臣，故落落不合于朝臣。又想国国一辙，处处同风。大宋如此，彼番亦如此。臣既隐身远祸，不辅大宋堂堂天朝，而肯辅腥臊之番乎？且尽心竭力，辅助国家，少中奸锋，九族庙绝，呜呼哀哉，痛哉！辅人立朝，实闲且淡，若浮云过太虚，竟归无用矣。”有诗为证：
兔走鸟飞疾若驰，人生何事苦谋为。
屡朝宰相三更梦，历代君臣一局棋。
禹并九州汤得业，秦吞六国汉登基。
人人欲作千年计，争奈天公不应机。
怀玉读罢，又曰：“一贼灭，一贼兴，谁能辅佐人国而使万世之永安乎！”有诗为证：
世事若龙舟，古今争不了。
胜负两亡羊，天地一刍狗。
周王恳恳千回，百遍强之，怀玉不听。周王不得已，辞别而回。
周王既至于汴，即入奏神宗，将怀玉所论之言，并怀玉吟咏之诗，一一敷陈。神宗听罢有间，曰：“噫，寡人之过也。”慨叹不已。复谓周王曰：“劳卿再齎敕旨前往召之。朕想古之帝王梦卜求贤，以理天下。朕今有此等贤良之士，不能用之，听其肥遁林泉，不得与古明王媲美，使天下万世谓朕为无道昏庸之君也。卿速行焉，善为设辞可也。”
周王领旨，星夜复到太行山，见了怀玉等，剖尽衷曲，劝谕抵极。怀玉等只付之一笑，亦不辩论短长。及见周王劝之不已，怀玉曰：“劳殿下情意殷殷，另有一深长之论，转达天听。且见殿下此来亦不徒然。”周王曰：“有何论焉？”怀玉曰：“圣朝调遣，拜命而行。倘或来宣入朝受职，将臣碎尸万段，决不遵依。”言罢，周王亦无奈，只得辞别而回。怀玉引领全家送至山下，再拜周王。周王含泪，怏怏不忍离别。怀玉曰：“殿下勿忧微臣，不死后会可期。”周王遂搵泪相别。
怀玉回到山上，命手下伐木作室，耕种田地，自食其力。又出一告示，晓谕家兵，不许下山掳掠民财，为一清白百姓，遗留芳声于后代。使人皆称我家是个忠臣，退隐岩穴而非叛乱贼臣，不归王化者也。有诗为证：
尘视侯封上太行，只缘社鼠暗中伤。
繁华过却三春景，衰朽催人两鬓霜。
宦海无端乡变态，莱羹有味饱谙尝。
浮生得乐随时乐，何必担忧驻汴梁。
后人览罢此书，有诗赞怀玉知机云：
峻秩崇阶孰肯丢，知机平远早回头。
预期十事九如愿，定不三平两满休。
知自足时还自足，得无忧处便无忧。
太行风月归闲后，一任人间春复秋。
又诗赞云：
卸却朝衣弃却簪，浮云富贵不关心。
连城玉韫太行润，照乘珠藏合浦深。
明月花前宵酌酒，熏风竹下昼鸣琴。
此身不复随宣召，只恐西风短剑临。