LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

ALBEF先对齐再融合（Align before Fuse）

#near-cvpr-2025#multimodal#vision-language#representation-learning#primary-source

ALBEF：先对齐再融合

会议：NeurIPS 2021
发表日期：2021-07-16（arXiv 版本）
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

ALBEF 代表了“先用双塔对齐，再用跨模态编码器精排/推理”的混合架构：它用图文对比学习改善输入表示，再用 cross-attention 处理更精细的匹配，并用动量蒸馏降低网页噪声的影响。

问题定义

纯 cross-encoder 需要每个候选都做融合，难以扩展到大图库；纯双塔又可能丢失局部语义。ALBEF 研究如何在不依赖目标框标注和高分辨率输入的情况下，把可扩展召回与精细匹配组合起来。

方法概述

  • 先用 image-text contrastive（ITC）损失对齐单模态表示。
  • 再用 image-text matching（ITM）与 cross-modal attention 学习匹配判断，训练时从 batch 内选择高相似 hard negatives。
  • 用 momentum distillation（动量蒸馏）由动量模型生成软目标，帮助模型从噪声 web 数据学习。

关键发现

  • 论文报告 ALBEF 在图文检索上超过使用大得多预训练数据的方法，并在 VQA、NLVR2 等任务上也有提升。
  • 该结构明确了工程上的两阶段形态：双塔负责候选召回，跨编码器负责少量候选精排；这比“单一架构包打天下”更接近真实检索系统。
  • hard negative mining 不是装饰性技巧，而是让模型学习区分相似但不匹配图文的重要训练信号。

局限或疑问

  • ITM 精排仍有候选级计算成本，系统需要明确召回数量、延迟和显存预算。
  • momentum distillation、负例采样和多个预训练目标耦合较深，复现实验比 CLIP/ALIGN 更复杂。
  • 论文的检索 benchmark 仍主要是标准 caption 数据，不能独立证明复杂关系、开放域长尾和中文场景的泛化。

证据边界

  • 直接证据：ITC/ITM、动量蒸馏、hard negative 和图文检索实验。
  • 不能据此推出 cross-encoder 在所有规模都优于双塔；它更适合被理解为可扩展召回与精细匹配的组合范式。

原始链接

相关页面

元数据
{
  "id": "2026-07-14-albef",
  "type": "source",
  "title": "ALBEF：先对齐再融合（Align before Fuse）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "NeurIPS 2021",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Junnan Li",
    "Ramprasaath R. Selvaraju",
    "Akhilesh D. Gotmare",
    "Shafiq Joty",
    "Caiming Xiong",
    "Steven C. H. Hoi"
  ],
  "published_at": "2021-07-16",
  "canonical_links": [
    "https://arxiv.org/abs/2107.07651",
    "https://arxiv.org/pdf/2107.07651",
    "https://github.com/salesforce/ALBEF"
  ],
  "raw_entry": "raw/ingest/2026-07-14-albef/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-baseline-and-specialization"
  ],
  "questions": [
    "questions/question-image-text-retrieval-fine-grained-alignment"
  ]
}