LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

ALIGN用噪声文本监督扩展视觉与视觉语言表示学习（Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision）

#near-cvpr-2025#multimodal#vision-language#representation-learning#primary-source

ALIGN：用噪声文本监督扩展视觉与视觉语言表示学习

会议：ICML 2021
发表日期：2021-02-11
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

ALIGN 说明：当图文对规模扩大到十亿级时，一个简单的双编码器（dual encoder）和对比学习（contrastive learning）也能在 Flickr30K、MS COCO 等图文检索基准上取得很强结果；但它把数据规模、全局语义相似度和工程可扩展性放在了细粒度关系建模之前。

问题定义

早期视觉语言预训练常依赖人工清洗、规模较小的 Conceptual Captions、MS COCO 等数据。论文研究的问题是：能否直接利用未经复杂清洗的网页图片替代文本（alt-text），通过规模弥补噪声，并得到可用于分类、检索和跨模态查询的通用表示。

方法概述

  • 图像编码器和文本编码器分别产生向量，投影到共享空间。
  • 使用归一化 softmax 对比损失（normalized softmax contrastive loss）拉近配对图文、推远 batch 内非配对图文。
  • 训练数据来自超过十亿条网页图文对，采用较轻量的频率过滤；推理时可以离线编码图像库与文本库，再做近邻搜索。

关键发现

  • 论文报告的 Flickr30K 与 MS COCO 结果超过当时更复杂的 cross-attention 方法，说明大规模双塔模型是图文检索的强基线，而不是只能做零样本分类。
  • 同一共享空间还支持 text-only、image-only 和 image+text 查询，提示检索系统可以从单一接口扩展到组合式查询。
  • 论文把“数据规模—噪声—可预计算表示”的组合固定成了后来 CLIP 系列和开放图文检索系统的基本工程范式。

局限或疑问

  • 十亿级训练本身需要大规模算力；“架构简单”不等于小团队可以低成本从零训练。
  • 网页 alt-text 的错配、文化覆盖、版权与安全问题不会因为规模扩大自动消失。
  • 全局向量相似度容易忽略词序、关系、计数和局部实体；后续 ARO、Winoground、SugarCrepe 正是对这一边界的压力测试。

证据边界

  • 直接证据：论文原文的双编码器方法、数据规模、Flickr30K/MS COCO 检索实验与跨模态查询设置。
  • 本 source 不把 ALIGN 的 benchmark 领先直接外推为“已解决细粒度检索”；组合性与域外泛化需要单独看后续评测来源。

原始链接

相关页面

Metadata
{
  "id": "2026-07-14-align",
  "type": "source",
  "title": "ALIGN：用噪声文本监督扩展视觉与视觉语言表示学习（Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "ICML 2021",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Chao Jia",
    "Yinfei Yang",
    "Ye Xia",
    "Yi-Ting Chen",
    "Zarana Parekh",
    "Hieu Pham",
    "Quoc V. Le",
    "Yunhsuan Sung",
    "Zhen Li",
    "Tom Duerig"
  ],
  "published_at": "2021-02-11",
  "canonical_links": [
    "https://arxiv.org/abs/2102.05918",
    "https://arxiv.org/pdf/2102.05918",
    "https://research.google/pubs/scaling-up-visual-and-vision-language-representation-learning-with-noisy-text-supervision/"
  ],
  "raw_entry": "raw/ingest/2026-07-14-align/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-data-quality",
    "claims/claim-image-text-retrieval-baseline-and-specialization"
  ],
  "questions": [
    "questions/question-image-text-retrieval-research-cut"
  ]
}