LLLMWIKI
ArticleMetadataMain page

Claim · Updated 2026-07-14

标准图文检索分数不足以证明组合性理解

#near-cvpr-2025#multimodal#vision-language#evaluation#benchmarking#open-claim

Current judgment

Limited support · under review

Current evidence supports a scoped judgment; broader transfer remains under review.

8 / 3

Supporting evidence 8

ARO：视觉语言模型何时像词袋，以及如何改进（When and why vision-language models behave like bags-of-words）Winoground：探测视觉语言组合性（Probing Vision and Language Models for Visio-Linguistic Compositionality）SugarCrepe：修复可被捷径攻破的视觉语言组合性基准（Fixing Hackable Benchmarks）No Zero-Shot Without Exponential Data：预训练概念频率决定多模态模型性能COLA：组合式文本到图像检索基准（A Benchmark for Compositional Text-to-image Retrieval）

Counter-evidence and limits 3

CLIP：用自然语言监督学习可迁移视觉表示ALIGN：用噪声文本监督扩展视觉与视觉语言表示学习（Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision）CoCa：对比式图像描述器作为图文基础模型（Contrastive Captioners are Image-Text Foundation Models）

Still to verify

More controlled comparisons across scale, budget, and tasks are needed to raise confidence.

命题

在 Flickr30K、MS COCO 等标准图文检索上获得较高 Recall，只能说明模型在该数据和候选协议下能排序匹配图文，不能单独证明模型理解对象—属性绑定、关系、词序、数量或反事实组合。

为什么重要

如果把 Recall 提升直接写成“视觉语言理解提升”，会掩盖真正的研究缺口，也会让模型在存在文本或数据集捷径时得到虚假进步。

支持证据

  • ARO 发现属性、关系和词序失败，并指出标准 retrieval 可被 shortcut 支撑。
  • Winoground 的同词不同序 2×2 任务让多数模型接近随机。
  • SugarCrepe 发现 blind text-only model 可以攻破已有组合性 benchmark。
  • No Zero-Shot Without Exponential Data 进一步提醒下游概念可能已经出现在预训练数据中。
  • CoLA、CIR Robustness 和 PinPoint 将问题扩展到模型鲁棒性、显式负例、多真值和 query 改写；MIEB 则显示组合性只是统一 embedding 能力的一部分，不能被平均分替代。

反证或局限

  • CLIP、ALIGN、CoCa 的标准检索结果仍然是有效的匹配能力证据，只是证据范围更窄。
  • 组合性 benchmark 自身也可能有构造偏差，不能把单一诊断集当作完整语义理解测量。

当前评估

本命题在本轮证据中达到 supported。任何新的图文检索方法至少应同时报告标准 Recall、组合性 hard negatives、text-only/image-only 对照、数据重叠审计和失败案例。

Metadata
{
  "id": "claim-image-text-retrieval-compositionality",
  "type": "claim",
  "title": "标准图文检索分数不足以证明组合性理解",
  "status": "supported",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "evaluation",
    "benchmarking",
    "open-claim"
  ],
  "claim_status": "supported",
  "claim_type": "evaluation",
  "evidence_for": [
    "sources/2026-07-14-aro",
    "sources/2026-07-14-winoground",
    "sources/2026-07-14-sugarcrepe",
    "sources/2026-07-14-no-zero-shot",
    "sources/2026-07-14-cola",
    "sources/2026-07-14-cir-robustness",
    "sources/2026-07-14-mieb",
    "sources/2026-07-14-pinpoint"
  ],
  "evidence_against": [
    "sources/2026-06-29-clip",
    "sources/2026-07-14-align",
    "sources/2026-07-14-coca"
  ],
  "related_topics": [
    "topics/image-text-retrieval",
    "topics/generative-model-evaluation"
  ],
  "related_entities": [
    "entities/clip-retrieval-benchmarks"
  ]
}