R.02 · 用户理解 · 2025
LongMemEval：评测聊天助手的长期交互记忆
LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory
Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang, Dong Yu · ICLR 2025
摘要
一个评测基准：将 500 道问题嵌入可任意扩展的对话历史，检验五项长期记忆能力——信息提取、跨会话推理、时间推理、知识更新与拒答。商用助手与长上下文模型的准确率下降约 30%；作者将记忆设计拆分为索引、检索与阅读三个阶段，并分别提出优化方案。
评注其中“知识更新”与“拒答”——采用最新信息、在无法作答时明确说明——是我们认为建立信任所必需的两项能力。