搜索
新研究锁定多模态检索头，揭秘大模型长文档检索机制
21 小时前
EMNLP 2026接收的论文针对长上下文视觉语言模型在处理长篇图文材料时，可能无法准确定位相关证据的问题，提出了多模态检索头（MMRetHeads）的概念。该概念受QRHead启发，设计了一种检测方法，通过分析注意力头的问题-证据注意力来识别这类头。研究涵盖了6个模型以及多任务、多上下文长度的场景，发现文本和图像检索会共享部分注意力头。屏蔽实验表明，这些检索头对模型访问证据具有因果作用，屏蔽后模型在检索任务、长文档问答及多模态推理任务中的表现显著下降。研究团队还利用这些头的证据信号进行多模态文档检索，无需额外训练检索器，在MMDocIR上，Qwen3-VL-8B的页面级和版面级Recall@1较最强基线分别提升了7.7和6.3个百分点。
