LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

Winoground探测视觉语言组合性（Probing Vision and Language Models for Visio-Linguistic Compositionality）

#near-cvpr-2025#multimodal#vision-language#evaluation#benchmarking#primary-source

Winoground：探测视觉语言组合性

会议：CVPR 2022
发表日期：2022-06-01
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

Winoground 用 400 个人工构造的图文组合性例子，把两张图与两条只改变词序/组合关系的 caption 配成一个小而尖锐的测试；论文显示，许多模型在标准检索之外几乎不能稳定判断正确配对。

问题定义

如果两条 caption 使用完全相同的词，只是改变词序或关系，人类可以依赖组合语义区分它们；若模型只抓主题词，则会在这种设置下失败。Winoground 把这个问题转成 2×2 的图—文配对任务。

方法概述

  • 每个例子包含两张图、两条 caption，共 1,600 个图文配对，其中 800 个是正确配对、800 个是错误配对。
  • 提供 text score、image score 和要求两边同时正确的 group score，并为例子标注语言与视觉推理标签。
  • 通过人工标注比较人类能力和多个预训练 VLM 的行为。

关键发现

  • 人类 group score 为 85.50%，随机 group chance 为 16.67%；论文报告的模型大多接近或低于随机水平。
  • CLIP 等双塔模型的失败表明：共享嵌入空间能支持常规检索，却不保证对词序、关系和视觉反事实敏感。
  • Winoground 的价值主要是诊断“标准 Recall 看不见的失败”，而不是替代大规模检索 benchmark。

局限或疑问

  • 数据规模很小，不能用来估计开放世界检索的总体平均性能。
  • 人工构造例子可能偏向特定语言结构与视觉场景；标签覆盖也不等于完整的语义理论。
  • group score 对任一子问题失败都敏感，适合压力测试，但不直接告诉我们如何修复模型。

证据边界

  • 直接证据：数据规模、2×2 任务定义、人类/模型分数与标签设计。
  • “图文检索仍适合做研究”是由该类诊断缺口支持的方向判断，而不是 Winoground 对模型规模或商业价值的证明。

原始链接

相关页面

Metadata
{
  "id": "2026-07-14-winoground",
  "type": "source",
  "title": "Winoground：探测视觉语言组合性（Probing Vision and Language Models for Visio-Linguistic Compositionality）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "CVPR 2022",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "evaluation",
    "benchmarking",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Tristan Thrush",
    "Ryan Jiang",
    "Max Bartolo",
    "Amanpreet Singh",
    "Adina Williams",
    "Douwe Kiela",
    "Candace Ross"
  ],
  "published_at": "2022-06-01",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/CVPR2022/papers/Thrush_Winoground_Probing_Vision_and_Language_Models_for_Visio-Linguistic_Compositionality_CVPR_2022_paper.pdf",
    "https://openaccess.thecvf.com/content/CVPR2022/html/Thrush_Winoground_Probing_Vision_and_Language_Models_for_Visio-Linguistic_Compositionality_CVPR_2022_paper.html",
    "https://huggingface.co/datasets/facebook/winoground"
  ],
  "raw_entry": "raw/ingest/2026-07-14-winoground/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip-retrieval-benchmarks"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-compositionality"
  ],
  "questions": [
    "questions/question-image-text-retrieval-hard-negatives"
  ]
}