LLLMWIKI
正文元数据首页

实体 · 更新于 2026-07-14

图文检索与组合性评测集（Image-Text Retrieval Benchmarks）

#near-cvpr-2025#evaluation#benchmarking

覆盖范围

这组 benchmark 从标准双向检索延伸到组合查询和诊断性评测：Flickr30K/MS COCO 常用于 image↔caption Recall；FashionIQ/CIRR/CIRCO 使用参考图 + 修改文本；ARO、Winoground、SugarCrepe 专门压力测试属性、关系、词序与评测捷径。

使用时要注意

  • 标准 Recall 适合比较候选排序，但不自动测量组合性或真实用户满意度。
  • CIR 数据常有多个合理目标和潜在 false negatives，CIRCO 的多真值设计更适合观察这个问题。
  • ARO/Winoground/SugarCrepe 是诊断性测试，规模和构造方式不同，不能与大规模开放域 Recall 直接合并成一个分数。
  • 数据重叠、概念频率和文本盲模型应作为评测审计字段。

相关页面

元数据
{
  "id": "entity-clip-retrieval-benchmarks",
  "type": "entity",
  "title": "图文检索与组合性评测集（Image-Text Retrieval Benchmarks）",
  "status": "active",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "evaluation",
    "benchmarking"
  ],
  "entity_type": "benchmark",
  "aliases": [
    "Flickr30K",
    "MS COCO",
    "FashionIQ",
    "CIRR",
    "CIRCO",
    "ARO",
    "Winoground",
    "SugarCrepe"
  ],
  "related_topics": [
    "topics/image-text-retrieval",
    "topics/vision-language",
    "topics/generative-model-evaluation"
  ],
  "source_notes": [
    "sources/2026-06-29-clip",
    "sources/2026-07-14-align",
    "sources/2026-07-14-aro",
    "sources/2026-07-14-winoground",
    "sources/2026-07-14-sugarcrepe",
    "sources/2026-07-14-fashioniq",
    "sources/2026-07-14-cirr",
    "sources/2026-07-14-searle-circo",
    "sources/2026-07-14-datacomp",
    "sources/2026-07-14-no-zero-shot"
  ]
}