LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

SEARLE用文本反演做零样本组合式图像检索（Zero-Shot Composed Image Retrieval with Textual Inversion）

#near-cvpr-2025#multimodal#vision-language#representation-learning#benchmarking#primary-source

SEARLE：用文本反演做零样本组合式图像检索

会议：ICCV 2023
发表日期：2023-03-27（arXiv 首次提交）
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

SEARLE 把参考图像映射成 CLIP 文本空间里的 pseudo-word，再与相对 caption 拼接，从而在没有 CIR triplet 标注训练的前提下做 zero-shot composed image retrieval；论文同时提出包含多真值的 CIRCO，直接回应单一 ground truth 的评测问题。

问题定义

CIR 训练三元组（参考图、修改文本、目标图）昂贵，且已有数据多是窄域、单一目标。SEARLE 研究能否只用大规模预训练图文对和未标注图像学习图像→pseudo-word 映射，再复用 CLIP 的 text-to-image 空间。

方法概述

  • 训练 textual inversion network，把参考图像特征变成 CLIP token embedding 空间的 pseudo-word。
  • 推理时将 pseudo-word 与 relative caption 拼接，利用冻结 CLIP 图像库做近邻检索。
  • 提出 CIRCO：基于 COCO 的开放域 CIR benchmark，共 1,020 个 query，平均每个 query 有约 4.53 个 ground-truth 图像，并用 mAP 评估多真值排名。

关键发现

  • SEARLE 在 FashionIQ、CIRR 和 CIRCO 上报告优于当时零样本/有监督 baseline 的结果，说明预训练共享空间可以承载组合查询。
  • CIRCO 的多真值设计暴露了传统 Recall 的盲点：某张合理目标没有被人工指定时，不应简单视为负例。
  • 该路线训练轻量映射器、冻结大模型和复用图像索引，给资源有限的研究者提供了较容易复现的起点。

局限或疑问

  • pseudo-word 是压缩表示，可能丢失参考图中的多对象结构；一个 token 不等于完整场景解析。
  • 结果强依赖 CLIP 预训练空间、未标注图像域和 CIR benchmark 构造。
  • CIRCO 规模仍小，不能替代大规模真实用户日志或长期交互评估。

证据边界

  • 直接证据：pseudo-word 映射、CIRCO 规模/多真值、三个数据集上的实验。
  • “轻量映射器适合研究生项目”是依据论文训练接口和冻结 backbone 的工程推断，仍需实测显存与训练时长。

原始链接

相关页面

元数据
{
  "id": "2026-07-14-searle-circo",
  "type": "source",
  "title": "SEARLE：用文本反演做零样本组合式图像检索（Zero-Shot Composed Image Retrieval with Textual Inversion）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "ICCV 2023",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "representation-learning",
    "benchmarking",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Alberto Baldrati",
    "Lorenzo Agnolucci",
    "Marco Bertini",
    "Alberto Del Bimbo"
  ],
  "published_at": "2023-03-27",
  "canonical_links": [
    "https://arxiv.org/abs/2303.15247",
    "https://arxiv.org/pdf/2303.15247",
    "https://github.com/miccunifi/SEARLE",
    "https://circo.micc.unifi.it/"
  ],
  "raw_entry": "raw/ingest/2026-07-14-searle-circo/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip-retrieval-benchmarks"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-composed-query",
    "claims/claim-image-text-retrieval-compositionality"
  ],
  "questions": [
    "questions/question-image-text-retrieval-research-cut"
  ]
}