技术实践

RAG 评测:把检索错误和回答错误分开

只看最终答案会隐藏问题位置。检索未找对资料和模型误读资料,需要完全不同的修正策略。

核心问题

只看最终答案会隐藏问题位置。检索未找对资料和模型误读资料,需要完全不同的修正策略。

实践方法

为每个样本标注相关文档、关键事实和可接受答案。先看检索召回,再看引用忠实度、完整性和拒答。按业务重要性分组,避免平均分掩盖高风险错误。

动手练习

建立一个评测表,列出问题、参考资料、检索结果、回答、错误类型和修正动作,留出未参与调试的测试集。

怎样检查成果

保存原始输入、你的处理过程和最终交付物。请一位目标使用者独立检查,记录他无法理解或无法使用的部分;下一轮只改一个关键问题,再比较修改前后的结果。