[论文笔记] Hallucination Detection in LLMs with Topological Divergence on Attention Graphs (2026.07, ACL 2026)

概述

动机:对RAG中的回答进行忠实性幻觉检测;以往方法大多没有考虑到attention的拓扑特性,本文提出TOHA方法,以此修补了这个缺陷。

此外,本文还发现,不同注意力头上attention拓扑性质与幻觉的相关性并不相似;在一小部分头上,MTop-Div指标与幻觉产生与否关联性较强。

方法

考虑第i层第j个注意力头在推理时形成的注意力矩阵,可以将其视作注意力图G的邻接矩阵

忠实性幻觉常常对应回复R与问题P的不一致性,从图的视角来看,R和P中的每个token都是一个图的节点,这种不一致性可以直观地认为是R中的节点需要通过较大的距离才能连接到P节点上。

由于我们考虑的是回答本身的特性,问题P中token的关联属性并不重要,所以文章选择把P节点缩成一整个节点,也就是将其对应邻接子矩阵中设为零矩阵,形成新矩阵G'

这个新矩阵G'最小生成树上所有边的权值之和,对应的是连接回答与问题的代价,可以认为是忠实性幻觉的一个代理指标

原文中对最小生成树的表达比较复杂:

流形拓扑散度(Manifold Topology Divergence,MTop-Divdiv)由 Barannikov 等人(2021)提出。MTop-Div(M, N) 用于量化两个数据流形 M 和 N 之间的差异,这两个流形分别通过点云 M 和 N 进行近似表示。
MTop-Div 的计算方式是对 Cross-Barcode(M, N) 中所有区间的长度求和。Cross-Barcode 是一组区间,用于表示那些能够将 N 与 M∪N 区分开的拓扑特征。散度越大,说明两个流形之间的拓扑差异越大。关于拓扑数据分析(TDA)的更多细节见附录 B。
设 R 和 P 分别表示注意力图 G 中的回复节点集合和提示节点集合。首先,将 P 中节点彼此之间的边权重置为 0,然后在修改后的图上构造 Vietoris-Rips 单纯复形,并计算其 0 阶同调条形码 B0。
直观来说,这个条形码记录了随着我们不断改变图中边的阈值时,连通分量的演化过程,也就是各个连通块何时出现、何时彼此合并。更多细节见附录 B。


每个注意力头与幻觉的关联性并不相同,所以文章会在一个pseudo-train set上首先进行一次MTop-Div计算,筛选出来MTophallu−MTopground\text{MTop}_{\text{hallu}}-\text{MTop}_\text{ground}值最高的Top-k头;实际测试时,考虑这k个头的MTop平均值,作为幻觉指标。

文章中还说,这些与幻觉关联性强的头,存在较强的token复制行为,也就是copying head。

局限性

纯文本场景,没有考虑多模态场景下的集成。在这种场景下,可能需要重新考虑对注意力图的处理。