LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

ARO视觉语言模型何时像词袋，以及如何改进（When and why vision-language models behave like bags-of-words）

#near-cvpr-2025#multimodal#vision-language#evaluation#benchmarking#primary-source

ARO：视觉语言模型何时像词袋，以及如何改进

会议：ICLR 2023
发表日期：2022-10-04（arXiv 首次提交）
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

ARO 证明，标准图文检索分数高并不代表模型理解了属性归属、对象关系或词序；大量视觉语言模型在组合性测试上像“词袋”，而面向组合性的 hard negative 可以改善这一问题。

问题定义

标准 Flickr30K、MS COCO 检索通常允许模型凭对象词和主题词找到大致匹配的 caption，未必要求它理解“谁拥有哪个属性”或“谁对谁做什么”。ARO 试图把这些关系拆出来测量。

方法概述

  • Visual Genome Attribution 测对象—属性绑定。
  • Visual Genome Relation 测对象之间的关系。
  • COCO 与 Flickr30K-Order 测词序敏感性。
  • 论文还实验了 composition-aware hard negative mining，让负例尽量只改变关系、属性或顺序。

关键发现

  • ARO 包含超过 50,000 个测试样本，论文发现多个 state-of-the-art VLM 在关系、属性绑定和词序上存在明显缺陷。
  • 论文指出，在已有数据上优化 retrieval 可能利用与组合性无关的捷径；因此标准 benchmark 的提升不应直接解释为“组合推理提升”。
  • 简单加入组合性 hard negatives 可以提高相关测试表现，为可复现的训练切口提供了具体方向。

局限或疑问

  • ARO 的数据来源和构造强调受控关系，可能与开放世界用户查询不同。
  • hard negative 的收益可能依赖负例构造质量，错误负例会把真实相关样本当成不相关样本。
  • 评测分数仍是选择题/检索式行为证据，不能完全定位模型内部是否形成了关系结构。

证据边界

  • 直接证据：ARO 三个子集、组合性失败分析和 hard-negative 训练实验。
  • “组合性是图文检索的主要研究缺口”由 ARO、Winoground 与 SugarCrepe 共同支持，不由 ARO 单篇论文独立决定。

原始链接

相关页面

元数据
{
  "id": "2026-07-14-aro",
  "type": "source",
  "title": "ARO：视觉语言模型何时像词袋，以及如何改进（When and why vision-language models behave like bags-of-words）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "ICLR 2023",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "evaluation",
    "benchmarking",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Mert Yuksekgonul",
    "Federico Bianchi",
    "Pratyusha Kalluri",
    "Dan Jurafsky",
    "James Zou"
  ],
  "published_at": "2022-10-04",
  "canonical_links": [
    "https://arxiv.org/abs/2210.01936",
    "https://arxiv.org/pdf/2210.01936",
    "https://openreview.net/forum?id=KRLU9Cqqe7"
  ],
  "raw_entry": "raw/ingest/2026-07-14-aro/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip-retrieval-benchmarks"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-compositionality"
  ],
  "questions": [
    "questions/question-image-text-retrieval-hard-negatives"
  ]
}