LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

VLM2Vec把视觉语言模型训练成通用多模态向量模型（Training Vision-Language Models for Massive Multimodal Embedding Tasks）

#near-cvpr-2025#multimodal#vision-language#representation-learning#benchmarking#primary-source

VLM2Vec：把视觉语言模型训练成通用多模态向量模型

来源：arXiv / Technical Report
发表日期：2024-10-07
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

VLM2Vec 代表较新的路线：不从头设计一个 CLIP 式双塔，而是把已有视觉语言模型（VLM）通过对比训练改造成可输出固定维度向量的 embedding model，并用 MMEB 测试分类、VQA、检索和视觉 grounding 的统一泛化。

问题定义

CLIP/BLIP 通常分别编码图像或文本，无法自然处理“图像+文本+指令”的任意组合；而大型 VLM 虽有更强理解能力，却通常不是高效向量检索器。VLM2Vec 研究两者能否结合。

方法概述

  • MMEB 覆盖四个元任务、36 个数据集，其中 20 个用于训练、16 个作为域内/域外评估。
  • 以 Phi-3.5-V、LLaVA-1.6 等 VLM 为基础，通过对比目标把多模态输入映射为固定维度向量。
  • 与 CLIP、BLIP 等独立编码器比较，并测试复杂组合输入和 zero-shot transfer。

关键发现

  • 论文报告，训练后的 VLM2Vec 在 MMEB 全体与 16 个域外数据集上相对已有多模态 embedding baseline 有 10%—20% 的绝对平均提升；这是论文自报结果，需注意其训练/评测配方。
  • 该工作把“生成式 VLM → 向量检索器”变成可研究的接口，连接了指令理解与高效 ANN（近似最近邻）检索。
  • MMEB 的域外拆分比只在 Flickr30K/MS COCO 上报告 Recall 更接近通用 embedding 研究的问题。

局限或疑问

  • 论文标注为 technical report，且大 VLM 的训练、显存与推理成本可能明显高于 CLIP 双塔。
  • 多模态 embedding 的统一平均分可能掩盖单任务退化，需要分别报告检索方向、语言、领域和输入形式。
  • 固定向量仍可能丢失复杂关系；是否需要多向量/late interaction 要与 ColPali、FILIP 对照。

证据边界

  • 直接证据：MMEB 规模、训练/评估拆分、VLM2Vec 训练框架与论文报告的平均提升。
  • 不把论文的平均提升直接当作实际搜索系统的 latency、召回或用户满意度提升。

原始链接

相关页面

Metadata
{
  "id": "2026-07-14-vlm2vec-mmeb",
  "type": "source",
  "title": "VLM2Vec：把视觉语言模型训练成通用多模态向量模型（Training Vision-Language Models for Massive Multimodal Embedding Tasks）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "arXiv / Technical Report",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "representation-learning",
    "benchmarking",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Ziyan Jiang",
    "Rui Meng",
    "Xinyi Yang",
    "Semih Yavuz",
    "Yingbo Zhou",
    "Wenhu Chen"
  ],
  "published_at": "2024-10-07",
  "canonical_links": [
    "https://arxiv.org/abs/2410.05160",
    "https://arxiv.org/pdf/2410.05160",
    "https://tiger-ai-lab.github.io/VLM2Vec/"
  ],
  "raw_entry": "raw/ingest/2026-07-14-vlm2vec-mmeb/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/m-beir"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-unified-embedding",
    "claims/claim-image-text-retrieval-unified-embedding"
  ],
  "questions": [
    "questions/question-image-text-retrieval-unified-embedding"
  ]
}