LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

SugarCrepe修复可被捷径攻破的视觉语言组合性基准（Fixing Hackable Benchmarks）

#near-cvpr-2025#multimodal#vision-language#evaluation#benchmarking#primary-source

SugarCrepe：修复可被捷径攻破的视觉语言组合性基准

会议：NeurIPS 2023 Datasets and Benchmarks
发表日期：2023-06-26
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

SugarCrepe 说明，很多组合性图文 benchmark 的正负 caption 分布存在可被文本盲模型利用的偏差；用大语言模型生成更自然的 hard negatives，再做对抗式筛选，可以减少“只看文本就答对”的假象。

问题定义

Winoground、ARO 等工作把组合性转成图像—caption 选择题，但 benchmark 本身也可能带有词长、语法或语言模型概率偏差。SugarCrepe 研究如何让 hard negative 真正依赖视觉证据，而不是依赖 caption 表面分布。

方法概述

  • 使用大语言模型生成改变属性、关系或数量的反事实 caption。
  • 通过 adversarial refinement 尽量降低正负文本分布差异。
  • 重新评测视觉语言模型与已有组合性训练策略，并提供数据与评测代码。

关键发现

  • 论文发现，在多个旧 benchmark 上，完全不看图像的 blind model 可以超过视觉语言模型，说明 benchmark 分数存在严重捷径风险。
  • SugarCrepe 重新评测后，部分以往声称的组合性收益大幅下降；这把“评测可靠性”本身变成图文检索研究问题。
  • 该工作对研究设计的直接启发是：任何新方法都应加入 text-only、image-only、长度/词频启发式和 hard-negative 对照。

局限或疑问

  • 生成式 hard negatives 仍依赖语言模型，可能引入新的风格、事实性或模型偏差。
  • 论文主要关注以 image-to-text retrieval 形式构造的组合性评测，不能覆盖所有检索场景。
  • 减少可见分布偏差不等于证明模型真正形成了可解释的关系表示。

证据边界

  • 直接证据：blind model 诊断、hard-negative 生成/筛选和 SugarCrepe 重新评测。
  • 本页不把 SugarCrepe 结果外推为所有 benchmark 都无效；结论是“必须审计 benchmark 是否可被捷径攻破”。

原始链接

相关页面

Metadata
{
  "id": "2026-07-14-sugarcrepe",
  "type": "source",
  "title": "SugarCrepe：修复可被捷径攻破的视觉语言组合性基准（Fixing Hackable Benchmarks）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "NeurIPS 2023 Datasets and Benchmarks",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "evaluation",
    "benchmarking",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Cheng-Yu Hsieh",
    "Jieyu Zhang",
    "Zixian Ma",
    "Aniruddha Kembhavi",
    "Ranjay Krishna"
  ],
  "published_at": "2023-06-26",
  "canonical_links": [
    "https://arxiv.org/abs/2306.14610",
    "https://arxiv.org/pdf/2306.14610",
    "https://proceedings.neurips.cc/paper_files/paper/2023/file/63461de0b4cb760fc498e85b18a7fe81-Paper-Datasets_and_Benchmarks.pdf",
    "https://github.com/RAIVNLab/sugar-crepe"
  ],
  "raw_entry": "raw/ingest/2026-07-14-sugarcrepe/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip-retrieval-benchmarks"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-compositionality",
    "claims/claim-image-text-retrieval-compositionality"
  ],
  "questions": [
    "questions/question-image-text-retrieval-hard-negatives"
  ]
}