【VCD】Mitigating Object Hallucinations in Large Vision-Language Models through Visual...译读笔记

Mitigating Object Hallucinations in Large Vision-Language Models through Visual Contrastive Decoding

大型视觉语言模型（LVLMs）取得了长足的进步，将视觉识别和语言理解交织在一起，生成的内容不仅连贯而且与语境相契合。尽管取得了成功，LVLMs仍然受困于物体幻觉问题，即模型生成看似合理实则不正确的输出，其中包含图像中不存在的物体。为了缓解这一问题，本文引入了视觉对比解码（VCD），这是一种简单且训练无关的方法，通过对比源自原始视觉输入和扭曲视觉输入的输出分布来工作。所提出的VCD有效减少了对统计偏差和单模态先验的过度依赖，这是导致物体幻觉的两个主要根源。这种调整确保了生成的内容紧密基于视觉输入，从而产生上下文准确的输出。本文的实验表明，VCD 无需额外训练或使用外部工具，在不同的 LVLM 系列中显著缓解了物体幻觉问题。除了缓解物体幻觉外，VCD 在通用 LVLM 基准测试中也表现出色，凸显了其广泛的适用性。代码开源于https://github.com/damo-nlp-sg/vcd。

1. 引言

大型视觉语言模型（LVLMs）已成为计算机视觉和自然语言处理交叉领域不可或缺的一部分，得益于其能够从视觉输入生成语境相关的文本描述的能力，这使得一系列应用得以实现。这些模型的特点在于其能够有效捕捉并转化复杂的视觉模式，形成连贯的语言表征[5_Qwen-VL, 12_InstructBLIP, 18_MultiModal-GPT, 33_Otter, 45_Visual_Instruction_Tuning, 49_Video-ChatGPT, 70_mPLUG-Owl, 73, 78]。