LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

生成式零样本组合式图像检索（Generative Zero-Shot Composed Image Retrieval）

#near-cvpr-2025#vision-language#conditioning#representation-learning#primary-source

生成式零样本组合式图像检索

一句话结论

Generative ZS-CIR 用组合式图像生成（CIG）产生 pseudo-target image，再把参考图、修改文本和伪目标共同映射到检索空间；它以生成模型补足组合查询与目标图像 embedding 之间的表示差距，是“生成式视觉模型服务检索”的代表性路线。

问题、方法与训练目标

  • 现有 Pic2Word、SEARLE、LinCIR 等方法常把参考图转换为伪 token，再在文本 embedding 空间组合；组合表示与目标图像表示之间存在 gap。
  • CIG 使用 textual inversion 将图像映射到语义词空间，再用 latent diffusion 根据参考图和 delta caption 生成伪目标图。
  • 训练只需要 image-caption pairs，不需要 CIR 三元组；推理时将伪目标图作为额外视觉证据接入已有 zero-shot CIR 方法。

数据、指标与关键发现

  • 论文在 CIRR、CIRCO、Fashion-IQ 和 GeneCIS 上比较 Pic2Word、SEARLE、LinCIR 及其加入 CIG 后的版本，使用 Recall@K 等指标。
  • CIG 在不同 backbone 和 diffusion 版本上普遍带来提升；例如在 CIRR 的部分设置中，SEARLE 的 Recall@1 从 24.24 提升到 26.72。
  • 论文报告只增加较小推理时间，并可作为多个现有 CIR 方法的 add-on；但生成模型配置、显存和实际吞吐仍需单独测量。

局限与证据边界

  • 伪目标图是否真正保留身份、属性和关系，决定了增益；生成错误可能被当作检索线索。
  • 训练使用 595K 筛选后的 image-caption pairs，并在 4 张 A6000 上训练，不能把“无需 CIR 三元组”理解为低成本或无需视觉生成资源。
  • 结果主要来自开放域 CIR benchmark，尚未证明对中文、视觉文档或专业图像的泛化。

对候选课题 A/B/C/D 的启发

  • A：生成的伪目标图可以作为 hard negative/positive 质量审计对象，检查是否产生 shortcut。
  • B：把生成式 add-on 与纯双塔、late interaction、cross-encoder 精排放在同一延迟和显存预算下比较。
  • C：检验生成模型和 textual inversion 对中文修改文本、低资源语言和文化属性的偏差。
  • D：若专业页面中局部布局是关键，生成式伪目标可能帮助组合 query，但必须以证据页命中而非只看 Recall 评价。

原始链接

Metadata
{
  "id": "2026-07-14-generative-zscir",
  "type": "source",
  "title": "生成式零样本组合式图像检索（Generative Zero-Shot Composed Image Retrieval）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "vision-language",
    "conditioning",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "CVPR 2025",
  "authors": [
    "Lan Wang",
    "Wei Ao",
    "Vishnu Naresh Boddeti",
    "Ser-Nam Lim"
  ],
  "published_at": "2025-06-01",
  "ingested_at": "2026-07-14",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/CVPR2025/html/Wang_Generative_Zero-Shot_Composed_Image_Retrieval_CVPR_2025_paper.html",
    "https://lan-lw.github.io/CIG/"
  ],
  "raw_entry": "raw/ingest/2026-07-14-generative-zscir/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/image-generation"
  ],
  "entities": [],
  "claims": [
    "claims/claim-image-text-retrieval-composed-query",
    "claims/claim-image-text-retrieval-baseline-and-specialization"
  ],
  "questions": [
    "questions/question-image-text-retrieval-fine-grained-alignment",
    "questions/question-image-text-retrieval-research-cut"
  ]
}