LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

COLA组合式文本到图像检索基准（A Benchmark for Compositional Text-to-image Retrieval）

#near-cvpr-2025#evaluation#benchmarking#reasoning#primary-source

COLA：组合式文本到图像检索基准

一句话结论

COLA 将对象—属性绑定放入 text-to-image retrieval：模型必须检索正确组合，并避开对象和属性都相同但绑定关系错误的干扰图；它直接证明标准图文分数无法替代组合性诊断。

问题、方法与数据

  • benchmark 约含 1.2k 个组合查询、168 个对象、197 个属性和约 30K 张图像，覆盖单对象与多对象组合。
  • 人工评估准确率为 83.33%；作者比较两个视觉语言模型上的 6 种适配策略。
  • 最好的适配是训练一个同时关注冻结图像与语言特征的 multimodal attention layer，而不是简单调大模型。
  • 训练/适配使用 contrastive object-attribute data；评测重点是错误配置的 hard distractor，适合与 text-only 基线比较。

指标、关键发现与可比性

  • 采用 text-to-image retrieval 的组合性准确率，并与 CREPE 等诊断 benchmark 比较。
  • COLA 比 CREPE 更难：简单 fine-tuning 不足以解决对象—属性绑定，最佳模型与人类仍有差距。
  • 该结论与 ARO、Winoground、SugarCrepe 互补，但数据构造方式不同，不能合并成单一排行榜。

局限与证据边界

  • 规模相对小，合成/模板化组合与真实搜索语言之间仍有差距。
  • 主要是英语对象—属性关系；多语言、真实多真值和预训练重叠尚未充分覆盖。

对候选课题 A/B/C/D 的启发

  • A：这是 hard-negative 与 benchmark audit 的直接起点，应记录干扰样本是否自然、是否真的错误。
  • B：可评估 multimodal attention 只放在 top-K 精排时的成本。
  • C：把对象—属性绑定翻译到中文、地域和专业术语，观察语言先验是否改变难度。
  • D：可把对象—属性错误组合改造成论文图表中的图例—曲线、表格—指标绑定诊断。

原始链接

Metadata
{
  "id": "2026-07-14-cola",
  "type": "source",
  "title": "COLA：组合式文本到图像检索基准（A Benchmark for Compositional Text-to-image Retrieval）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "evaluation",
    "benchmarking",
    "reasoning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "NeurIPS 2023 Datasets and Benchmarks",
  "authors": [
    "Arijit Ray",
    "Filip Radenovic",
    "Abhimanyu Dubey",
    "Bryan A. Plummer",
    "Ranjay Krishna",
    "Kate Saenko"
  ],
  "published_at": "2023-05-05",
  "ingested_at": "2026-07-14",
  "canonical_links": [
    "https://arxiv.org/abs/2305.03689",
    "https://arxiv.org/pdf/2305.03689",
    "https://cs-people.bu.edu/array/research/cola/"
  ],
  "raw_entry": "raw/ingest/2026-07-14-cola/",
  "topics": [
    "topics/image-text-retrieval"
  ],
  "entities": [],
  "claims": [
    "claims/claim-image-text-retrieval-compositionality"
  ],
  "questions": [
    "questions/question-image-text-retrieval-hard-negatives",
    "questions/question-image-text-retrieval-data-contamination"
  ]
}