Hugging Face Papers ↗ · 2026-11-19
Probing the "Conscious" Mind: Selective Access and Global Workspace in Vision-Language Models
媒体报道 Hugging Face Papers 原文语言:中文
研究人员引入多模态概念透镜(MC-Lens)来研究视觉语言模型(VLM)中的全局工作空间理论(GWT),以探究概念的可访问性、选择性访问以及跨模态对齐的发展。实验表明,多模态概念信息可在中间状态被读取,且选择性访问较概念可访问性发展更晚。这些发现为研究多模态人工智能系统中的 GWT 提供了实验基础。
全文
视觉语言模型(VLM)整合视觉和文本信息,但其输出并未揭示内部概念表征。全局工作空间理论(GWT)提出信息从并行的大脑过程被选择后,整合到共享工作空间,并提供给专门的过程使用。我们引入多模态概念透镜(MC‑Lens),一种多模态雅可比透镜,用于研究 VLM 中概念处理的这些功能。其视觉编码器和语言解码器透镜将中间状态映射到由解码器输出词汇表定义的共享语义空间,以比较跨模态的概念可访问性。MC‑Lens 支持内部概念干预,以检验被访问概念在下游计算中的作用。(i)可访问性和选择性访问。多模态概念信息在中间状态中可读,并可根据任务需求选择性访问。我们将“读取载体”从单一名称标记扩展为标记集合,以更好地捕获和表达概念信息,并支持反事实实验。(ii)概念在下游计算中的作用。反事实实验表明,被访问的概念信息参与下游计算和推理。(iii)跨模态对齐和选择性访问的发展。我们开发了两种 J‑空间度量,能够比受控 VLM 训练中的隐藏状态余弦更清晰地追踪跨模态概念对齐的发展。实验还显示,可靠的选择性访问出现晚于概念可访问性。(iv)模型间的共享功能。在不同 VLM 系列和规模之间,我们发现尽管内部组织不同,但概念可访问性、查询依赖的选择性以及跨任务干预效应等模式是共享的。这些发现为在多模态人工系统中研究 GWT 提供了实验基础,并可指导跨模态对齐的改进。
查看 arXiv 页面 查看 PDF 添加到收藏
正文为 AI 译文。