从降臣吕师孟叔侄到了军中，北虏的情形益加叵测。大营里天天有窃窃私语声，不知讲论些什么。一见到文天祥走近，便都缄口不言。天祥好几次求见伯颜，欲告辞归之意，只是托辞不见，故意拖延了下去。告二贵酋，要求其转达，也只是唯唯诺诺的，不置可否。而防卫加严，夜间门外有了好几重的守卫。铁甲和兵器的铿铿相触声，听得很清楚。
终于见到了伯颜。天祥直前诟斥其失信：“说是送我归朝，为何还迟延了下去呢？有百端的事待理。便讲和未成，也该归朝和诸公卿商议，明奏皇上，别定他计。为什么明以馆伴相礼，而实阴加监视呢？”
伯颜只以虚言相慰。天祥声色俱厉在呵责，求归至切。吕文焕适在旁坐，便劝道：
“丞相且请宽心住下；朝事更有他人可理会。南朝也将更有大臣来请和。”
天祥睁目大怒，神光睦睦可畏，骂道：“你这卖国的乱贼，有何面目在此间胡言乱语！恨不族灭你！只怪朝廷失刑！更敢有面皮来做朝士？汝叔侄能杀我，我为大宋忠臣，正是汝叔侄周全我。我又不怕！”
北酋们个个都动容，私语道：“文丞相是心直口快男子心！”
文焕覚得没趣，半晌不响。然天祥却因此益不得归。
文焕辈私语伯颜道：“只有文某是有兵权在手的，人也精明强干；羁留住了他这人，他们都不足畏了。南朝可传檄而定。”伯颜也以为然。