LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

MIEB大规模图像 embedding 评测基准（Massive Image Embedding Benchmark）

#near-cvpr-2025#vision-language#benchmarking#evaluation#primary-source

MIEB：大规模图像 embedding 评测基准

一句话结论

MIEB 把图像与图文 embedding 的评测扩展到 38 种语言、130 个任务和 8 类能力，结果显示没有一种方法在所有任务上都占优；这直接支持“不要用一个平均 Recall 宣称通用检索器”的判断。

问题、方法与评测协议

  • 论文指出，图像聚类、图文检索、组合性、视觉文本相似度和视觉问答通常被分开评测，模型能力因此难以比较。
  • 基于 MTEB 框架构建统一基准，覆盖检索、聚类、分类、组合性评测、视觉中心问答、文档理解、视觉语义相似度和多语言任务。
  • 基准同时包含 instruction-aware retrieval、interleaved retrieval 和高分辨率文档理解，试图测量 embedding 是否真正编码了复杂视觉信息。

数据、指标与关键发现

  • 论文评测 50 个模型，跨 38 种语言和 130 个任务；核心指标随任务使用 Recall、准确率、相似度或分类指标。
  • 没有单一方法统治所有类别，模型在检索、组合性、文档理解和干扰项存在时呈现碎片化能力。
  • 视觉 encoder 在 MIEB 上的表现与其被放入多模态大模型后的表现具有较高相关性，说明 embedding 评测可作为部分 VLM 能力的早期代理，但不能替代完整下游评测。

局限与证据边界

  • MIEB 是评测框架，不是一个新的检索架构；排行榜差异不能单独说明某种训练方法的因果优势。
  • 任务类别、语言覆盖和数据构造仍决定结论边界，统一平均分可能掩盖某种语言、领域或任务的退化。
  • 论文没有解决标准数据的预训练重叠、真实用户满意度和端到端索引成本问题。

对候选课题 A/B/C/D 的启发

  • A：把组合性、干扰项和多语言分层纳入 hard negative 审计，不再只报标准检索分数。
  • B：将 embedding 质量与索引大小、查询延迟、候选数一起记录，避免“更高分但不可部署”。
  • C：MIEB 为语言分层实验提供任务框架，但中文/领域数据仍需单独验证。
  • D：文档理解任务可以作为视觉页面检索的上游评测，但要区分文字占主导的页面与表格/图表页面。

原始链接

Metadata
{
  "id": "2026-07-14-mieb",
  "type": "source",
  "title": "MIEB：大规模图像 embedding 评测基准（Massive Image Embedding Benchmark）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "vision-language",
    "benchmarking",
    "evaluation",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "arXiv preprint",
  "authors": [
    "Chenghao Xiao",
    "Isaac Chung",
    "Imene Kerboua",
    "Jamie Stirling",
    "Xin Zhang",
    "Márton Kardos",
    "Roman Solomatin",
    "Noura Al Moubayed",
    "Kenneth Enevoldsen",
    "Niklas Muennighoff"
  ],
  "published_at": "2025-04-14",
  "ingested_at": "2026-07-14",
  "canonical_links": [
    "https://arxiv.org/abs/2504.10471",
    "https://github.com/embeddings-benchmark/mteb"
  ],
  "raw_entry": "raw/ingest/2026-07-14-mieb/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/generative-model-evaluation"
  ],
  "entities": [],
  "claims": [
    "claims/claim-image-text-retrieval-unified-embedding",
    "claims/claim-image-text-retrieval-baseline-and-specialization"
  ],
  "questions": [
    "questions/question-image-text-retrieval-unified-embedding",
    "questions/question-image-text-retrieval-research-cut"
  ]
}