LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

CoCa对比式图像描述器作为图文基础模型（Contrastive Captioners are Image-Text Foundation Models）

#near-cvpr-2025#multimodal#vision-language#representation-learning#primary-source

CoCa：对比式图像描述器作为图文基础模型

来源：TMLR 2022 / arXiv
发表日期：2022-05-04
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

CoCa 把 CLIP 式对比学习和 captioning 放到一个 encoder-decoder 图文模型里：同一模型既保留可用于检索的单模态表示，又获得更强的生成式和多模态理解接口。

问题定义

纯对比模型擅长共享空间中的分类和检索，但不直接生成文本；纯生成模型又可能缺少稳定的双向检索表示。CoCa 研究能否通过共享计算图，把两种训练目标统一起来。

方法概述

  • 图像编码器产生视觉表示，decoder 前半部分只建模文本单模态表示。
  • decoder 后半部分通过 cross-attention 看图像，产生多模态表示并自回归生成 caption。
  • 同时优化图像—文本对比损失和 captioning 损失；论文在网页 alt-text 与图像标注数据上端到端训练。

关键发现

  • 论文在 Flickr30K、MS COCO 的零样本图文检索上报告了强结果，并在图像分类、视频检索、VQA 和 captioning 等任务上展示统一迁移能力。
  • 论文 Table 3 的 CoCa 结果显示，标准图文检索仍可由共享图像/文本表示完成；生成式 decoder 不必参与每个大规模候选的检索打分。
  • 它提供了一个重要设计信号：检索表示和生成/理解表示可以共享底座，但未必需要在部署阶段共享同一条昂贵路径。

局限或疑问

  • CoCa 的大规模端到端训练与较大 decoder 仍需要显著资源，不能直接作为小团队的首个 baseline。
  • 检索提升和生成提升来自联合目标、数据配方和模型规模的共同作用，单篇论文不能分离所有因素。
  • 共享训练目标可能造成能力取舍；实际检索系统仍需要独立评估召回、延迟、索引大小与生成质量。

证据边界

  • 直接证据：联合对比/生成目标、架构拆分以及 Flickr30K/MS COCO 检索表格。
  • 本页把 CoCa 作为方法谱系中的统一模型，不把它的零样本结果外推为对所有检索数据域的保证。

原始链接

相关页面

Metadata
{
  "id": "2026-07-14-coca",
  "type": "source",
  "title": "CoCa：对比式图像描述器作为图文基础模型（Contrastive Captioners are Image-Text Foundation Models）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "TMLR 2022 / arXiv",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Jiahui Yu",
    "Zirui Wang",
    "Vijay Vasudevan",
    "Legg Yeung",
    "Mojtaba Seyedhosseini",
    "Yonghui Wu"
  ],
  "published_at": "2022-05-04",
  "canonical_links": [
    "https://arxiv.org/abs/2205.01917",
    "https://arxiv.org/pdf/2205.01917",
    "https://github.com/lucidrains/CoCa-pytorch"
  ],
  "raw_entry": "raw/ingest/2026-07-14-coca/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-baseline-and-specialization"
  ],
  "questions": [
    "questions/question-image-text-retrieval-research-cut"
  ]
}