1. 大型视觉语言模型的幻觉问题与挑战
大型视觉语言模型（LVLMs）近年来在跨模态任务中展现出令人印象深刻的能力，从开放式视觉问答、图像描述生成到多模态指令跟随等应用场景。这类系统通过结合强大的视觉编码器和大型语言模型，能够描述复杂场景、遵循多模态指令，并使用自然语言对图像进行推理。然而，这类模型存在一个关键缺陷：幻觉（hallucination）现象，即模型生成与视觉证据不一致的文本内容。
1.1 幻觉现象的本质与成因
幻觉问题主要表现为模型自信地描述图像中并不存在的对象、属性或关系。这种现象严重削弱了LVLMs的可靠性和可信度，在医学影像、自动驾驶和机器人等安全关键应用中尤为危险。从机制上看，幻觉通常发生在模型过度依赖大规模文本预训练获得的语言先验，而未能充分利用实际视觉证据的情况下。
具体而言，当语言先验主导视觉证据时，模型会根据共现统计填充看似合理但实际未观察到的对象，而不是严格基于输入图像进行条件生成。这种现象可以视为控制生成的一种失败：模型的输出没有受到给定视觉条件的充分约束，其生成行为偏向于纯语言偏差。
1.2 现有解决方案的局限性
当前缓解幻觉的方法主要分为两类：基于训练的方法和推理时方法。基于训练的方法通过架构修改或在专注于幻觉的数据集上进行额外微调来减少幻觉，例如通过RLHF优化或对比学习将LVLMs与人类或合成偏好对齐。虽然这类方法可能有效，但它们成本高昂且不够灵活：需要访问模型参数和在精心构建的偏好数据上进行昂贵的重新训练。
这促使了越来越多无需训练、在推理时引导固定LVLM而不修改其参数的方法出现。与本文工作更相关的是logit级引导和对比解码方法，这些方法比较图像条件和纯文本输入下的logits，以惩罚语言偏差的延续并促进与条件信号更好对齐的输出。然而，logit级方法存在两个关键限制：
- 它们仅在最终输出层操作，在所有层的偏差已经累积之后，因此只能提供全局的事后校正，无法直接解决幻觉起源的注意力级偏差。
- 它们通常需要多次前向传递，导致显著的计算开销，限制了其在实时或大规模设置中的适用性。
2. 注意力空间对比引导(ACG)的核心设计
2.1 方法概述与创新点
我们提出注意力空间对比引导(ACG)，一种无需训练、单次推理的引导机制，直接在LVLM的自注意力层内操作。与在输出层应用单一全局校正不同，ACG在注意力空间执行对比引导，通过在一次前向传递中构建图像-文本(图像条件)和纯文本(无条件)注意力路径，并使用它们的差异在解码展开时将注意力引导向视觉证据。
ACG的主要创新点包括：
- 在注意力空间将LVLM幻觉缓解公式化为对比引导
- 单次推理机制，在每个注意力层内构建图像条件和近似纯文本注意力路径
- 引入正交化校正，干净地将视觉贡献与语言先验分离
2.2 技术实现细节
2.2.1 单次前向的近似无条件路径
ACG避免计算成本的关键在于通过掩码策略在单次前向传递中近似无条件路径。具体实现如下：
- 每层计算一次查询、键和值矩阵(Q, K, V)
- 条件注意力输出通过标准注意力机制获得
- 对于当前响应token(序列中最后一个文本token)，我们重用得分矩阵但应用二进制掩码M，抑制来自最后一个文本查询对视觉键的注意力
这种掩码操作有效地移除了当前文本查询的视觉贡献，模拟了无视图像的状态，同时保留了相同的计算图并重用所有中间状态。我们期望这种单次近似能够捕捉到导致幻觉的语言偏差行为。
2.2.2 正交化校正技术
虽然高效，但掩码近似引入了固有的近似偏差：掩码的Ouncond并不完美匹配真正的无图像前向传递。两个主要因素导致这种偏差：
- 上下文泄漏：较早的层已经将视觉上下文注入到Q、Ktext和Vtext中，因此在层l掩码视觉键无法移除累积的视觉信息
- Softmax重新分配：当视觉键被掩码时，原本针对视觉token的注意力质量被重新分配到文本token，放大了文本-文本相关性并改变了语言先验
因此，朴素的引导向量∆O = Ocond - Ouncond混合了真正的视觉校正与文本引起的失真，这在高引导尺度γ下会降低响应质量。
为解决这一问题，ACG应用文本正交化，这是一种几何校正，将视觉信号与文本偏差解耦。我们将Ouncond视为定义主要文本方向，并从∆O中移除与其对齐的任何分量。具体步骤包括：
- 定义单位方向向量u = Ouncond/(||Ouncond||2 + ε)
- 将∆O投影到与u正交的子空间：∆O⊥ = ∆O - ⟨∆O,u⟩u
- 最终引导输出为Ofinal = Ocond + γ·∆O⊥
这种纯化的校正放大了视觉贡献，同时防止沿文本方向的失控漂移，提高了高γ值下引导的稳定性。
3. 实验验证与性能分析
3.1 实验设置与评估基准
我们在两个广泛使用的幻觉基准上评估ACG方法：POPE和CHAIR，均基于MS COCO构建。此外，我们还选择了MMHal-Bench进行进一步评估。
- POPE：测量二元是/否对象存在性
- CHAIR：评估自由形式描述中的对象幻觉
- MMHal-Bench：包含96个图像-问题对，探测对象和属性级不一致性
3.2 主要实验结果
3.2.1 POPE基准结果
在POPE的随机、流行和对抗性设置下的实验结果表明，我们的方法在平均得分上优于基线。特别是在LLaVA-1.5和MiniGPT-4上，我们的方法在对抗性集合中显示出显著提升，这被认为是最困难的集合，因为负样本与图像中出现的对象在语义或统计上相关。这证明我们的方法通过生成不依赖语言先验的响应，有效缓解了幻觉。
3.2.2 CHAIR基准结果
在开放式生成的CHAIR实验中，我们报告了句子级幻觉率(CHAIRs)、实例级幻觉率(CHAIRi)和F1分数。为了将标题长度的影响与幻觉减少分开，我们报告了最大新token∈{64,128}的结果。
在所有模型和长度预算下，ACG始终实现最低的实例级幻觉率(CHAIRi)，表明对对象幻觉的最强抑制。在LLaVA-1.5上，ACG在128-token预算下将CHAIRi降至4.8，CHAIRs降至21.0，同时保持F1接近最佳基线；在64-token预算下，它以可比的CHAIRs和F1匹配最佳CHAIRi。在MiniGPT-4上，ACG在两种长度设置中都获得了最佳的CHAIRs和CHAIRi，F1仅轻微下降，表明注意力空间引导在基本保持对象级保真度的同时大幅减少了幻觉。
3.2.3 MMHal-Bench结果
为了评估我们提出的方法对逻辑推理和复杂视觉理解的影响，我们在LLaVA-1.5架构上进行了基线和我们的模型之间的比较。雷达图报告了八个类别的幻觉相关指标：对象属性(ATTR)、对抗对象(ADV)、比较(COMP)、计数(COUNT)、空间关系(SPAT)、环境推理(ENV)、整体描述(HOL)和其他(OTHER)，其中更高的分数表示更好的事实对齐和减少的幻觉。
总体而言，我们的方法在平均得分上始终优于基线，在几乎所有类别中都有更高的分数。这证实了我们的方法在保持跨类别的一般性能的同时，增强了对幻觉的鲁棒性。
3.3 效率优势分析
我们测量了CHAIR(最大新token=128，贪婪解码)上每图像和每词的平均挂钟延迟，在所有方法中使用相同的环境。我们的目标是比较成本(延迟和前向传递次数)与收益(忠实度，CHAIRi)。
我们报告了两种规范操作模式，使ACG保持单旋钮、单次方法：
- ACG-Full(在所有层上引导)实现最大忠实度
- ACG-Fast(在前8层上引导)作为计算意识替代方案
多遍基线几乎使延迟翻倍(1.97-2.28×)，而ACG保持单次。ACG-Full以仅1.19×的普通成本实现了最先进的忠实度(CHAIRi=4.8)，在准确性和速度上都优于2遍PAI(7.6)。ACG-Fast以接近普通成本(1.05×)保留了大部分收益。这些结果证明了使用ACG-Full作为默认值和ACG-Fast作为计算友好替代方案的合理性，而无需引入任何额外的超参数。
4. 关键技术与实现细节
4.1 掩码无条件路径的有效性验证
ACG依赖于通过掩码注意力中的视觉键获得的纯文本路径的单次替代Omask_uncond。我们验证了这种替代是否忠实地反映了当视觉证据弱或不存在时出现的无基础、语言先验状态。
我们通过添加高斯噪声(噪声步长∈{0,...,999})逐步降低输入图像质量，运行普通LLaVA模型(无引导)，并测量：
- 实例级幻觉(CHAIRi)
- 对象级保真度(F1)
- 平均文本到图像(T2I)注意力比率
实验发现：
- 视觉信息丢失与幻觉相关：增加噪声与忠实度的灾难性损失相关
- 模型自然地门控非信息性输入：随着噪声添加，模型的平均T2I注意力显示出明显的下降趋势
这些发现证明了我们使用Omask_uncond的合理性：它作为模型自然响应(门控T2I注意力)的原则性单次代理，并直接针对幻觉的来源(纯语言状态)。
4.2 正交化校正的效果验证
我们的主要组件——文本正交化旨在校正由掩码构建Omask_uncond引入的近似偏差，这使得我们的单次算法成为可能。我们假设这种偏差污染了朴素的引导向量∆O，因此在减少幻觉时会在对象级保真度(CHAIR F1)上付出不必要的大代价。
为了验证这一点，我们进行了对照消融实验，比较带正交化的ACG与不带正交化的朴素ACG。我们选择产生相似F1的引导尺度，然后比较句子级和实例级忠实度(CHAIRs, CHAIRi)。
结果表明，在≈74 F1工作点时，带正交化的ACG比不带正交化的ACG获得1.8×更低的CHAIRi(8.8→4.8)和1.4×更低的CHAIRs(30.4→21.0)。因此，从∆O中移除文本对齐分量允许我们在保持F1几乎不变的情况下大幅减少幻觉，从而在评估的推理时方法中实现最先进的忠实度。
4.3 参数敏感性与配置建议
ACG暴露了一个超参数——引导尺度γ，默认情况下将引导应用于所有层(无需层选择调整)。我们描述了γ如何在忠实度、保真度和长度之间进行连续权衡。
引导尺度权衡：γ∈[1.0,3.0]的扫描显示，随着γ增加，实例幻觉(CHAIRi)从γ=1.0时的12.8减少到γ≈2.4时的约5，而对象级保真度(F1)在此范围内保持高位。超过γ≈2.4，F1急剧下降，标题变得过短。因此，我们采用γ=2.4作为规范工作点，在保持可接受保真度(F1=74.4)和合理标题长度的同时实现强幻觉减少(CHAIRi=4.8)。
层块特性分析：虽然我们的默认设置仍然是所有层，但为了理解引导最有效的位置，我们将32层解码器划分为四个连续块，并为每个块扫描γ。实验表明，在早期层应用引导已经在适度尺度下产生显著的幻觉减少，而所有层总体上获得最强的减少。相比之下，其他层块需要更大的γ来有意义地影响输出，但提供的增益较弱。这表明跨模态偏差在最有效的文本和视觉首次交互的地方被纠正。
5. 实际应用建议与注意事项
5.1 模型适配与参数调整
在实际应用中，针对不同的LVLM架构，需要进行适当的参数调整以获得最佳效果。根据我们的实验，我们建议以下配置：
- 对于LLaVA-1.5架构：γ=2.4(所有层)或γ=2.5(仅早期层)
- 对于MiniGPT-4架构：γ=0.3(所有层)
- 对于Qwen-VL架构：γ=1.4(所有层)
这些值在各自模型上实现了忠实度和保真度之间的良好平衡。对于计算资源受限的场景，可以考虑仅在早期层(如前8层)应用引导，这能保留大部分收益同时显著降低计算开销。
5.2 计算效率优化
ACG相比传统多遍方法的主要优势在于计算效率。我们的实验表明：
- ACG-Full(所有层引导)仅增加19%的延迟(1.19×)
- ACG-Fast(早期层引导)仅增加5%的延迟(1.05×)
对于实时应用或大规模部署场景，我们推荐以下优化策略：
- 对于延迟敏感应用：使用ACG-Fast配置(仅早期层引导)
- 对于质量敏感应用：使用ACG-Full配置(所有层引导)
- 对于批处理任务：可以适当增加γ值(提高引导强度)以补偿批处理可能带来的质量下降
5.3 常见问题排查
在实际部署中可能会遇到以下问题及解决方案：
生成内容过短：
- 降低γ值(建议每次调整0.2-0.3)
- 检查是否在过多层应用了引导(可尝试仅在前8-16层引导)
视觉信息被过度抑制：
- 减小γ值
- 验证输入图像是否被正确编码(检查视觉嵌入质量)
- 确保视觉token没有被错误地掩码
性能提升不明显：
- 确认模型是否已经过良好的视觉-语言对齐训练
- 尝试增加γ值(注意监控F1分数)
- 检查评估指标是否适合当前任务(不同任务可能需要不同的γ值)
6. 未来扩展方向
虽然ACG在缓解LVLM幻觉方面表现出色，但仍有一些值得探索的扩展方向：
- 动态γ调整：根据生成内容和图像复杂度的不同阶段自动调整引导强度
- 多模态扩展：将类似原理应用于其他模态(如音频、视频)的跨模态对齐
- 结合微调：将推理时引导与轻量级微调相结合，实现更精确的控制
- 可解释性增强：开发可视化工具帮助理解注意力引导的具体作用机制
这些扩展可以进一步提升ACG的实用性和适用范围，为构建更可靠的多模态AI系统提供支持。
