LLM 客服摘要漏掉关键信息怎么排查

遇到的问题 上个月我们给客服系统加了一层 LLM 摘要，想让主管不用翻完整 ticket 就能看到退款原因、订单号和下一步动作。灰度第一周看起来没大问题，平均处理时长也降了。但质检抽样时发现一个很麻烦的情况：涉及退款和补发的工单，摘要经常漏掉金额，偶尔还把客户第一次诉求和客服后续回复混在一起。更糟的是，接口返回很稳定，日志里没有报错，业务同事一开始以为只是模型"理解差"。 解决过程 我没有先换模型，也没有直接加一句"不要遗漏金额"的 prompt。先固定了 120 条真实工单做回归集，把 raw message、清洗后的输入、token 数、prompt_version、model、temperature 和输出摘要全部落表。对比后发现两个问题：一是 ETL 清洗脚本把带冒号和表格格式的退款明细删掉了一部分；二是长会话按 updated_at 拼接，导致客服补充说明排在客户原话前面，超过…