LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

MIRACL-VISION大规模多语言视觉文档检索基准

#near-cvpr-2025#vision-language#benchmarking#evaluation#primary-source

MIRACL-VISION：多语言视觉文档检索基准

一句话结论

MIRACL-VISION 将 MIRACL 扩展为 18 种语言的视觉文档检索，采用 hard-negative 筛选降低评测规模；它提供了可靠的多语言页面检索测试，但当前结果反而显示，在文字占主导的页面上，文本 embedding 仍明显优于视觉 embedding，因此不能简单宣称“端到端视觉页面一定替代 OCR”。

问题、方法与数据构造

  • 传统文档 RAG 通常先做 OCR、解析和切块；复杂布局、表格和图文混排可能在文本化过程中损失信息。
  • 论文从 MIRACL 和 Wikipedia 页面构造视觉页面版本，保留多语言查询与文档对应关系，并从候选集合中选择 hard negatives。
  • 通过筛选把语料规模降低约 58 倍，同时尽量保留查询相关的困难候选，便于比较视觉与文本检索模型。

数据、指标与关键发现

  • 覆盖 18 种语言，并与 ViDoRe、VDR-Multilingual 等视觉文档基准比较；主要指标为 NDCG@10。
  • 在该文字密集型设置中，视觉 embedding 模型平均 NDCG@10 约 0.4715，文本版本最佳模型约 0.7964；论文报告文本模型在每种语言上都优于视觉模型，部分语言差距可达 59.7%。
  • 结论支持“是否使用视觉表示必须由页面证据类型决定”：文字检索优先，表格、图表、布局等视觉信息才可能带来额外收益。

局限与证据边界

  • 查询主要来自文本问题，页面内容也以文本段落为主，不能代表图表、扫描件、表格或复杂信息图检索。
  • hard-negative 筛选和视觉页面生成可能改变任务难度；视觉版与文本版并非完全等价的输入表示。
  • 论文建议未来提供训练集和更多真实视觉元素，因此当前更适合作为评测/反方证据，而不是视觉检索已成熟的证明。

对候选课题 A/B/C/D 的启发

  • A：加入 OCR-only、文本 embedding 和视觉 embedding 三类基线，避免把视觉模型的失败归因于模型规模。
  • B：记录页面渲染、视觉编码、索引和查询成本；文字页面上的视觉路线可能形成更差的 Pareto 点。
  • C：18 语言结果适合做中文与低资源语言分层，但要检查语言、脚本和页面内容的混杂因素。
  • D：D 的研究价值应收窄到视觉信息真正不可由 OCR 表达的专业页面，而不是所有 PDF 页面。

原始链接

元数据
{
  "id": "2026-07-14-miracl-vision",
  "type": "source",
  "title": "MIRACL-VISION：大规模多语言视觉文档检索基准",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "vision-language",
    "benchmarking",
    "evaluation",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "arXiv preprint",
  "authors": [
    "Radek Osmulski",
    "Gabriel de Souza P. Moreira",
    "Ronay Ak",
    "Mengyao Xu",
    "Benedikt Schifferer",
    "Even Oldridge"
  ],
  "published_at": "2025-05-16",
  "ingested_at": "2026-07-14",
  "canonical_links": [
    "https://arxiv.org/abs/2505.11651",
    "https://huggingface.co/datasets/nvidia/miracl-vision"
  ],
  "raw_entry": "raw/ingest/2026-07-14-miracl-vision/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [],
  "claims": [
    "claims/claim-image-text-retrieval-baseline-and-specialization",
    "claims/claim-image-text-retrieval-unified-embedding"
  ],
  "questions": [
    "questions/question-image-text-retrieval-fine-grained-alignment",
    "questions/question-image-text-retrieval-unified-embedding"
  ]
}