知识索引重建后,能正常返回结果并不代表可以替换原索引。验收应使用同一份文档快照、同一组问题,同时查询新旧索引,比较关键证据是否仍能找到、排序变化是否合理,以及原来正确的问题有没有退步。
先说明这次重建改变了什么
重建可能源于字段调整、切分方式变化、检索配置更新或向量模型更换。这些变化会影响结果,但影响位置不同。先记录本次改变的因素和预期收益,尽量不要在一次比较中同时替换文档、问题和所有配置,否则看到差异也难以解释原因。
为两套索引保存各自的构建时间、源文档版本清单和配置标识。若新索引读到更多资料,应另列“新增内容”的评估,避免把覆盖范围扩大产生的收益误归因于检索算法改善。旧索引中的源文档缺失,也不能靠平均分隐藏。
比较证据,不要求结果列表逐字相同
| 比较项 | 核查问题 |
|---|---|
| 必需证据 | 支持结论的条款是否都在结果中 |
| 候选多样性 | 是否被同一文件的重复片段占满 |
| 适用范围 | 是否混入其他地区或事项的资料 |
| 可回查性 | 引用能否找到正确原件及位置 |
新索引可能把正确条款从第三位排到第一位,也可能返回不同切分但同样完整的证据。因此不能简单按结果标识相等计算成功。应把问题关联到可接受的证据范围,再判断新旧结果是否满足它。
逐题记录改善与退步
例如“跨部门培训需要哪些材料”原来能找到主规则与附表,新索引只返回主规则。回答仍然流畅,却少了附件要求。这应记录为证据覆盖退步,而不是因为前几条看起来更相关就判定通过。记录时附上缺失条款和两次查询结果,方便定位。
可以把题目分为保持正确、新增正确、新增错误、仍然错误四组,并给业务关键问题单独列明结果。平均指标上升不能自动抵消关键题失败。切换标准应在看结果前确定,避免事后挑选有利样本。
让切换有明确依据
先修复有可重复证据的退步,再用相同输入复查受影响问题。通过后保留新旧配置与评估记录,明确切换时间和回退条件。上线后新增的问题应进入下一版测试集,不能偷偷改掉本次样本,让比较失去可追溯性。
索引比较与生成答案评测可以分两步做:先证明证据检索没有丢失,再检查生成是否正确使用证据。若资源有限,优先覆盖高频问题、含例外条款的问题和历史失败题。这里的建议不依赖特定检索产品,也没有假定一次重建必然提高质量。
在企业文档中验证
如果要把本文方法用于企业文档,可预约演示,结合实际资料核对协作、权限与集成方式。
需要在自己的环境中验证时,可先了解私有化部署方案,再确定试用范围与验收要求。