文章目录
文章目录
本文目录
本文目录

知识索引重建时,如何比较新旧检索结果

石墨办公 + AI

重建知识索引时固定文档快照与问题集,逐题比较证据覆盖及新增遗漏。

知识索引重建后,能正常返回结果并不代表可以替换原索引。验收应使用同一份文档快照、同一组问题,同时查询新旧索引,比较关键证据是否仍能找到、排序变化是否合理,以及原来正确的问题有没有退步。

先说明这次重建改变了什么

重建可能源于字段调整、切分方式变化、检索配置更新或向量模型更换。这些变化会影响结果,但影响位置不同。先记录本次改变的因素和预期收益,尽量不要在一次比较中同时替换文档、问题和所有配置,否则看到差异也难以解释原因。

为两套索引保存各自的构建时间、源文档版本清单和配置标识。若新索引读到更多资料,应另列“新增内容”的评估,避免把覆盖范围扩大产生的收益误归因于检索算法改善。旧索引中的源文档缺失,也不能靠平均分隐藏。

比较证据,不要求结果列表逐字相同

比较项核查问题
必需证据支持结论的条款是否都在结果中
候选多样性是否被同一文件的重复片段占满
适用范围是否混入其他地区或事项的资料
可回查性引用能否找到正确原件及位置

新索引可能把正确条款从第三位排到第一位,也可能返回不同切分但同样完整的证据。因此不能简单按结果标识相等计算成功。应把问题关联到可接受的证据范围,再判断新旧结果是否满足它。

逐题记录改善与退步

例如“跨部门培训需要哪些材料”原来能找到主规则与附表,新索引只返回主规则。回答仍然流畅,却少了附件要求。这应记录为证据覆盖退步,而不是因为前几条看起来更相关就判定通过。记录时附上缺失条款和两次查询结果,方便定位。

可以把题目分为保持正确、新增正确、新增错误、仍然错误四组,并给业务关键问题单独列明结果。平均指标上升不能自动抵消关键题失败。切换标准应在看结果前确定,避免事后挑选有利样本。

让切换有明确依据

先修复有可重复证据的退步,再用相同输入复查受影响问题。通过后保留新旧配置与评估记录,明确切换时间和回退条件。上线后新增的问题应进入下一版测试集,不能偷偷改掉本次样本,让比较失去可追溯性。

索引比较与生成答案评测可以分两步做:先证明证据检索没有丢失,再检查生成是否正确使用证据。若资源有限,优先覆盖高频问题、含例外条款的问题和历史失败题。这里的建议不依赖特定检索产品,也没有假定一次重建必然提高质量。

知识索引重建时,如何比较新旧检索结果
本文提出的工作流程示意;不代表具体产品已实现或经过性能实测。

在企业文档中验证

如果要把本文方法用于企业文档,可预约演示,结合实际资料核对协作、权限与集成方式。

需要在自己的环境中验证时,可先了解私有化部署方案,再确定试用范围与验收要求。