R.01 · 长期记忆 · 2022
定位与编辑 GPT 中的事实关联
Locating and Editing Factual Associations in GPT
Kevin Meng, David Bau, Alex Andonian, Yonatan Belinkov · NeurIPS 2022
摘要
作者通过因果干预发现，GPT 模型中的事实关联对应于中间层前馈模块中的局部计算；并证明直接编辑相应权重（秩一模型编辑，ROME）即可改写特定关联。
评注该研究表明，模型知识以局部化的方式存储于权重之中；也正因如此，此类记忆与特定模型深度耦合。