R.01 · 长期记忆 · 2020
面向知识密集型任务的检索增强生成
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela · NeurIPS 2020
摘要
将参数化记忆（预训练的序列到序列模型）与非参数化记忆（经神经检索器访问的维基百科稠密向量索引）相结合用于文本生成。作者指出，对纯参数化模型而言，为结论提供出处与更新模型知识仍是尚未解决的问题。
评注该文使“参数化记忆”与“非参数化记忆”成为通用概念，并指出模型外部记忆可回应的两个核心问题：出处与更新。