LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

Pic2Word把图片映射成词，用于零样本组合式图像检索（Mapping Pictures to Words for Zero-shot Composed Image Retrieval）

#near-cvpr-2025#vision-language#representation-learning#conditioning#primary-source

Pic2Word：把图片映射成词

一句话结论

Pic2Word 把参考图像映射为 CLIP 文本空间中的 pseudo-word，再与修改文本组合，实现不使用 CIR triplet 标注的 zero-shot composed image retrieval；它把“低标注、可迁移”确立为一个重要研究范式。

问题、方法与训练目标

  • 传统 CIR 需要参考图、修改文本、目标图三元组，昂贵且难以扩展；论文定义 ZS-CIR，训练时不使用这些 triplet。
  • 使用 image-caption pairs 和无标注图像训练图像到 pseudo-word token 的映射，再把 pseudo-word 与修改文本送入冻结的 CLIP 文本编码器。
  • 训练目标包括 image-only contrastive learning 与 pseudo-word 组合后的检索表示学习；核心负样本来自图像池/文本池中的非匹配样本，而不是人工构造关系负例。

数据、指标与关键发现

  • 在 CIRR、FashionIQ 等 CIR benchmark 上评估，并覆盖属性编辑、对象组合和域转换。
  • 论文报告 Pic2Word 在公开 ZS-CIR 设置下可超过若干监督式方法，说明弱标注 image-caption 数据也能支持组合查询泛化。
  • Recall@K 与不同 benchmark 的 subset/full 设置不可直接比较；论文的主要证据是跨任务趋势而非一个通用分数。

局限与证据边界

  • pseudo-word 主要承载全局视觉语义，细粒度属性、数量、布局和冲突修改可能被压平。
  • 依赖 CLIP 文本空间与预训练数据；若 benchmark 与预训练重叠，zero-shot 结论需要额外审计。

对候选课题 A/B/C/D 的启发

  • A：应测试 text-only、image-only 与 pseudo-word 是否利用了错误捷径，并验证 hard negative 是否仍有效。
  • B：Pic2Word 是低成本 query encoder，适合作为双塔召回 baseline，再加入候选精排。
  • C：论文未把中文和低资源语言作为主要变量，多语言修改文本是自然扩展。
  • D：pseudo-word 适合一般图像，但文档页面的布局/表格证据需要多向量或视觉文档 encoder。

原始链接

元数据
{
  "id": "2026-07-14-pic2word",
  "type": "source",
  "title": "Pic2Word：把图片映射成词，用于零样本组合式图像检索（Mapping Pictures to Words for Zero-shot Composed Image Retrieval）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "vision-language",
    "representation-learning",
    "conditioning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "CVPR 2023",
  "authors": [
    "Kuniaki Saito",
    "Kihyuk Sohn",
    "Xiang Zhang",
    "Chun-Liang Li",
    "Chen-Yu Lee",
    "Kate Saenko",
    "Tomas Pfister"
  ],
  "published_at": "2023-06-01",
  "ingested_at": "2026-07-14",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/CVPR2023/html/Saito_Pic2Word_Mapping_Pictures_to_Words_for_Zero-Shot_Composed_Image_Retrieval_CVPR_2023_paper.html",
    "https://openaccess.thecvf.com/content/CVPR2023/papers/Saito_Pic2Word_Mapping_Pictures_to_Words_for_Zero-Shot_Composed_Image_Retrieval_CVPR_2023_paper.pdf",
    "https://arxiv.org/abs/2302.03084",
    "https://github.com/google-research/composed_image_retrieval"
  ],
  "raw_entry": "raw/ingest/2026-07-14-pic2word/",
  "topics": [
    "topics/image-text-retrieval"
  ],
  "entities": [],
  "claims": [
    "claims/claim-image-text-retrieval-composed-query"
  ],
  "questions": [
    "questions/question-image-text-retrieval-hard-negatives"
  ]
}