LLLMWIKI
ArticleMetadataMain page

Topic · Updated 2026-07-14

Vision-Language and Multimodal Representation Foundations

从双编码对齐、跨模态融合、生成式训练、数据规模和组合性评测理解视觉与语言怎样共享表示，以及标准检索高分为何不等于关系理解。

#near-cvpr-2025#vision-language#multimodal#representation-learning

Foundation

Vision-Language and Multimodal Representation Foundations

从双编码对齐、跨模态融合、生成式训练、数据规模和组合性评测理解视觉与语言怎样共享表示，以及标准检索高分为何不等于关系理解。

10 Source notes2 Open questions

Learning path

  1. DefinitionClarify what it is
  2. MechanismFollow the information flow
  3. EvolutionLocate landmark papers
  4. ResearchContinue into active topics

Concept map

From intuition to research connections

10 Source notes
1DefinitionClarify what it is
2MechanismFollow the information flow
3EvolutionLocate landmark papers
4ResearchContinue into active topics

一句话定义

视觉语言模型（vision-language model, VLM）学习图像/视频与文本之间的对应关系，使系统能够检索、分类、匹配、描述、问答或以语言控制视觉生成；多模态表示则是这些输入在共享或交互空间中的数值表达。

“对齐”至少有三层：全局图文主题接近、局部对象—词对应、以及属性/关系/顺序正确组合。标准检索常主要奖励第一层。

一张图看懂原理

视觉语言能力由哪些训练环节共同决定？

网页图文对怎样变成可检索或可推理表示

数据过滤、编码器、训练目标和负例共同塑造表示。模型只能从配对与任务中学到被稳定监督的关系。

  1. 图文数据网页替代文本、人工 caption、合成描述与元数据
  2. 单模态编码图像主干和文本编码器产生各自 token/向量
  3. 对齐与融合目标对比损失、图文匹配、captioning 或多任务联合训练
  4. 负例与数据治理batch 负例、hard negatives、过滤、去重和语言分布
  5. 下游验证检索、零样本分类、caption、问答、组合性和域外评测
Diagram evidenceCLIP、ALIGN、BLIP、DataComp

图像与文本数据经清洗和增强，分别编码，再用对比、匹配或生成目标训练，最后用于检索、分类、描述和推理评测。

前置概念与术语

  • 图文对（image-text pair）：一张图与文字描述/替代文本的配对，可能噪声很大。
  • 嵌入（embedding）：把输入映射到向量空间，距离或相似度表示关系。
  • 双编码器（dual encoder）：图像和文本独立编码，适合预计算与大规模检索。
  • 跨编码/融合编码器（cross/fusion encoder）：图文 token 交互，精细但候选成本高。
  • 对比学习（contrastive learning）：拉近正配对、推远负配对。
  • 图文匹配（image-text matching, ITM）：判断一对图文是否匹配，常用融合表示。
  • captioning / 语言建模：根据图像预测文本 token，引入生成能力。
  • 零样本分类（zero-shot classification）：用文本类别描述直接构造分类器；可能受预训练重叠影响。
  • 组合性（compositionality）：正确处理属性归属、关系、计数和词序组合。
  • hard negative：表面相似但语义关键处错误的负例；若负例本身错误会污染训练与评测。

历史演化

视觉语言研究重心怎样从“能对齐”转向“对齐是否可靠”？

从规模化对齐到组合性与数据审计

时间线把架构和证据并列：规模推动全局语义，混合/生成目标增强接口，组合性基准则暴露词袋捷径。

  1. 2021 · 规模化双塔CLIP 与 ALIGN 用海量图文对建立开放语义共享空间
  2. 2021 · 对齐后融合ALBEF 把可扩展双塔召回与跨模态精细交互组合
  3. 2022 · 理解与生成统一BLIP、CoCa 联合对比、匹配或 caption 目标
  4. 2022–2023 · 组合性反证Winoground、ARO 显示标准检索高分仍可能像词袋
  5. 2023 · 损失与数据实验SigLIP 改写对比损失，DataComp 固定算力比较数据过滤
  6. 当前 · 可靠多模态表示多语言、域外、污染、局部对齐和统一 embedding 成为系统问题
Diagram evidenceCLIP、ALBEF、CoCa、ARO、SugarCrepe

2021 CLIP/ALIGN，2021 ALBEF，2022 BLIP/CoCa/Winoground，2023 SigLIP/DataComp/ARO/SugarCrepe，之后统一表示和多语言审计。

核心机制

  • 共享空间：CLIP/ALIGN 将整图和整句投影到同一向量空间，用 batch 内正负配对训练。
  • 对齐后融合：ALBEF 先做双塔对比，再用 cross-attention 处理更细匹配，适合召回—精排。
  • 多目标训练：BLIP 与 CoCa 同时利用对比、匹配或 caption 目标，使表示可检索也可生成。
  • 损失与 batch：SigLIP 用 pairwise sigmoid 替代全局 softmax，改变并行通信与负例权重，不自动解决语义粒度。
  • 数据治理：DataComp 说明过滤、去重与来源在固定模型/算力下也能显著改变结果。
  • 诊断评测：ARO、Winoground、SugarCrepe 通过属性/关系和对抗负例检查模型是否真正依赖视觉组合证据。

主要方法分支

为什么同为 VLM，索引成本和推理能力差别很大？

双塔、融合与生成式视觉语言模型的接口差异

是否让每个候选与查询做 token 级交互，决定可扩展检索与精细推理的主要取舍；多阶段系统常把二者组合。

  1. 双编码器一图一向量、一文一向量，索引快但全局压缩可能丢局部关系
  2. 多向量/late interaction保留 patch/token 后延迟匹配，细粒度更强但索引更大
  3. 融合/cross encoder查询与候选联合编码，适合精排和推理但不能全库逐项运行
  4. 编码器—解码器视觉条件语言生成，支持 caption/问答但不天然给高效双向检索
  5. 统一多任务模型共享参数覆盖理解和生成，需检查任务干扰与最低任务表现
Diagram evidenceCLIP、ALBEF、BLIP、CoCa

架构地图比较独立双编码、late interaction、跨编码融合、编码器解码器生成和统一多任务模型。

奠基论文导读

  1. CLIP：自然语言监督、双塔对比与零样本分类的基础。
  2. ALIGN：规模化噪声网页图文对，理解数据规模与细粒度的取舍。
  3. ALBEF：先对齐再融合的混合架构。
  4. BLIP：caption 自举/过滤与理解—生成多目标。
  5. CoCa：对比表示和 caption decoder 共存。
  6. SigLIP：对比损失与分布式训练接口。
  7. DataComp：固定计算比较数据设计。
  8. Winoground、ARO：组合性与词袋捷径。
  9. SugarCrepe：评测负例本身也需要对抗式审计。

常见误区与局限

  • 误区：图文检索高分等于看懂关系。 主题词和对象词可能足以匹配标准 caption。
  • 误区：zero-shot 一定没见过。 预训练数据重叠和概念频率可能解释部分结果。
  • 误区：更多网页数据只会更好。 噪声、语言/地域偏差、重复、版权和过滤策略都会改变表示。
  • 误区：cross encoder 一定优于双塔。 精排能力更强，但全库成本不可同日而语。
  • 误区：用 CLIP 评 CLIP 系模型是独立证据。 共享表示会产生循环评测。
  • 局限：组合与否定：属性绑定、空间关系、计数、词序和否定仍是可靠性难点。

与研究专题的关系

推荐阅读顺序

  1. 先读 CLIP，能画出双编码器与对比损失。
  2. 用 ALBEF 对照双塔与融合，用 BLIP/CoCa 对照理解与生成目标。
  3. 读 DataComp，认识数据是可实验变量。
  4. 最后读 Winoground、ARO、SugarCrepe，主动寻找标准高分的反例。

证据基础

相关页面

Metadata
{
  "id": "topic-vision-language-foundations",
  "type": "topic",
  "topic_kind": "concept",
  "title": "图文对齐、视觉语言模型与多模态表示基础",
  "title_en": "Vision-Language and Multimodal Representation Foundations",
  "nav_title": "视觉语言基础",
  "status": "active",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "vision-language",
    "multimodal",
    "representation-learning"
  ],
  "summary": "从双编码对齐、跨模态融合、生成式训练、数据规模和组合性评测理解视觉与语言怎样共享表示，以及标准检索高分为何不等于关系理解。",
  "source_notes": [
    "sources/2026-06-29-clip",
    "sources/2026-07-14-align",
    "sources/2026-07-14-albef",
    "sources/2026-07-14-blip",
    "sources/2026-07-14-coca",
    "sources/2026-07-14-siglip",
    "sources/2026-07-14-datacomp",
    "sources/2026-07-14-aro",
    "sources/2026-07-14-winoground",
    "sources/2026-07-14-sugarcrepe"
  ],
  "foundational_sources": [
    "sources/2026-06-29-clip",
    "sources/2026-07-14-align",
    "sources/2026-07-14-albef",
    "sources/2026-07-14-blip",
    "sources/2026-07-14-coca",
    "sources/2026-07-14-siglip",
    "sources/2026-07-14-datacomp",
    "sources/2026-07-14-aro",
    "sources/2026-07-14-winoground",
    "sources/2026-07-14-sugarcrepe"
  ],
  "visuals": [
    "vl-training-flow",
    "vl-history",
    "vl-architecture-map"
  ],
  "related_topics": [
    "topics/computer-vision-overview",
    "topics/vision-backbones",
    "topics/vision-language",
    "topics/image-text-retrieval",
    "topics/image-generation",
    "topics/datasets-metrics-and-benchmark-reliability"
  ],
  "related_entities": [
    "entities/clip-retrieval-benchmarks"
  ],
  "open_questions": [
    "questions/question-image-text-retrieval-data-contamination",
    "questions/question-image-text-retrieval-fine-grained-alignment"
  ]
}