LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

CIRR用预训练视觉语言模型检索真实世界图像（Image Retrieval on Real-life Images）

#near-cvpr-2025#multimodal#vision-language#benchmarking#primary-source

CIRR：用预训练视觉语言模型检索真实世界图像

会议：ICCV 2021
发表日期：2021-10-01
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

CIRR 把 composed image retrieval 从相对简单的商品图扩展到开放域真实图像：用户给一张参考图和一条修改文本，模型需要保留相关内容并按照语言改变目标属性。

问题定义

已有 CIR 数据集多集中在窄领域、视觉差异明显或目标唯一，不能充分测量真实图像中“改什么、保留什么”的细粒度推理。CIRR 构造了超过 36,000 个带人工修改句的开放域图像对，并设计 global Recall 与 RecallSubset。

方法概述

  • 使用参考图像和相对文本形成 composed query。
  • CIRPLANT 借助预训练视觉语言模型把文本修改作用到视觉表示，再对目标图库做近邻搜索。
  • RecallSubset 在视觉相似候选子集内评估，减少“只返回相似参考图”的捷径影响。

关键发现

  • 论文报告 CIRPLANT 在开放域 CIRR 上优于当时基线，同时保持在 FashionIQ 等窄域数据上的竞争力。
  • 数据统计显示，开放域修改句更长、语义更丰富；但目标选择也更含糊，单一 ground truth 可能低估模型的合理结果。
  • CIRR 说明组成式检索比传统 image↔caption matching 更接近实际交互，但它的评价协议必须同时看全库召回和相似子集召回。

局限或疑问

  • 数据仍从受控的参考—目标构造开始，和真实用户连续搜索不完全相同。
  • 多个合理目标、对象级变化与背景保持之间的权衡没有完全由 Recall 表达。
  • 预训练 V&L 模型的知识和数据重叠可能影响 zero-shot / transfer 结果。

证据边界

  • 直接证据：CIRR 数据规模、CIRPLANT、Recall/RecallSubset 协议和论文表格。
  • “CIR 是可做的研究方向”是任务接口与公开数据的工程判断，不等于该 benchmark 已经解决真实搜索满意度。

原始链接

相关页面

Metadata
{
  "id": "2026-07-14-cirr",
  "type": "source",
  "title": "CIRR：用预训练视觉语言模型检索真实世界图像（Image Retrieval on Real-life Images）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "ICCV 2021",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "benchmarking",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Zheyuan Liu",
    "Cristian Rodriguez-Opazo",
    "Damien Teney",
    "Stephen Gould"
  ],
  "published_at": "2021-10-01",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/ICCV2021/papers/Liu_Image_Retrieval_on_Real-Life_Images_With_Pre-Trained_Vision-and-Language_Models_ICCV_2021_paper.pdf",
    "https://openaccess.thecvf.com/content/ICCV2021/html/Liu_Image_Retrieval_on_Real-Life_Images_With_Pre-Trained_Vision-and-Language_Models_ICCV_2021_paper.html",
    "https://www.zheyuanliu.me/CIRR/",
    "https://github.com/Cuberick-Orion/CIRR"
  ],
  "raw_entry": "raw/ingest/2026-07-14-cirr/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip-retrieval-benchmarks"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-composed-query"
  ],
  "questions": [
    "questions/question-image-text-retrieval-research-cut"
  ]
}