[论文笔记] Retrieval Head Mechanistically Explains Long-Context Factuality (2024.04)

发表于 更新于 分类于 阅读次数： 本文字数： 126 阅读时长 ≈ 1 分钟

检索头较早的一篇文章。发现了检索头的一些性质：

  • 普遍性：所有模型都有检索头

  • 稀疏性

  • 固有性：不随continual pretrain而改变

  • 动态激活：一部分检索头始终激活，另一部分随机激活

  • 因果性：敲除会导致无法检索上下文信息，但对于只需要内部知识的场景影响较小。