LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

E5-V使用多模态大语言模型的通用 embedding（Universal Embeddings with Multimodal Large Language Models）

#near-cvpr-2025#vision-language#representation-learning#efficiency#primary-source

E5-V：使用多模态大语言模型的通用 embedding

一句话结论

E5-V 用 prompt 把 MLLM 中的图像、文本和交错输入映射到统一语义空间，再只用 text pairs 做训练；论文报告相较多模态训练约减少 95% 训练成本，并在 text-image、composed image、sentence 与 image-image 四类任务上取得竞争性结果。

方法与训练目标

  • 通过 prompt 让 MLLM 输出对应语义的 token/embedding，以减少模态间 gap。
  • 训练阶段只使用 text pairs 的对比式 embedding 学习，不收集昂贵的 image-text pairs；推理时保留视觉输入能力。
  • 组合式查询由 interleaved image/text 输入表达，适合研究 instruction-conditioned retrieval，但也把生成模型的上下文长度和推理成本带入检索系统。

数据、指标与关键发现

  • 覆盖 text-image retrieval、composed image retrieval、sentence embedding、image-image retrieval 四类任务；指标与各任务现有 benchmark 相匹配。
  • 论文强调 text-only 训练有时优于 multimodal pair 训练，但这是 preprint 结果，需要在相同 backbone、数据和预算下复现。

局限与证据边界

  • 当前记录是 arXiv preprint，不是正式会议接收结果。
  • “通用”平均分可能掩盖单个语言/域/任务退化，MLLM 运行成本也可能高于固定维 dual encoder。

对候选课题 A/B/C/D 的启发

  • A：测试 prompt/文本训练是否造成 text-only shortcut，并用 explicit hard negatives 审计。
  • B：研究 MLLM embedding 作为 query/rerank teacher，再压缩到双塔向量。
  • C：E5-V 的跨语言语义空间适合做中文与低资源语言分层，但不能只报告平均分。
  • D：交错页面图像—文字输入与视觉文档 RAG 连接紧密，应测实际索引大小和查询延迟。

原始链接

元数据
{
  "id": "2026-07-14-e5v",
  "type": "source",
  "title": "E5-V：使用多模态大语言模型的通用 embedding（Universal Embeddings with Multimodal Large Language Models）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "vision-language",
    "representation-learning",
    "efficiency",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "arXiv preprint",
  "authors": [
    "Ting Jiang",
    "Minghui Song",
    "Zihan Zhang",
    "Haizhen Huang",
    "Weiwei Deng",
    "Feng Sun",
    "Qi Zhang",
    "Deqing Wang",
    "Fuzhen Zhuang"
  ],
  "published_at": "2024-07-17",
  "ingested_at": "2026-07-14",
  "canonical_links": [
    "https://arxiv.org/abs/2407.12580",
    "https://arxiv.org/pdf/2407.12580",
    "https://aka.ms/E5-V"
  ],
  "raw_entry": "raw/ingest/2026-07-14-e5v/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [],
  "claims": [
    "claims/claim-image-text-retrieval-unified-embedding"
  ],
  "questions": [
    "questions/question-image-text-retrieval-unified-embedding"
  ]
}