LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

VisRAG面向多模态文档的视觉检索增强生成（Vision-based Retrieval-augmented Generation on Multi-modality Documents）

#near-cvpr-2025#vision-language#efficiency#representation-learning#primary-source

VisRAG：面向多模态文档的视觉检索增强生成

一句话结论

VisRAG 直接把文档页面图像交给 VLM-based retriever 和 generator，绕过 OCR、布局解析与文本分块链路；ICLR 2025 版本报告相较传统 text-based RAG 有约 20%—40% 端到端收益，但它同时引入高分辨率视觉推理与页面索引成本。

方法与训练目标

  • VisRAG-Ret 继承 bi-encoder 思路，把 query 与 document page image 映射到 embedding space；页面不先解析成文本。
  • 收集 open-source 与 synthetic data 训练 retriever，再用 VisRAG-Gen 进行视觉页面生成/回答。
  • 评测同时看 retrieval 和 generation，因而把图文检索的局部证据命中与下游 RAG 用户价值连接起来。

数据、指标与关键发现

  • 论文包含多模态文档、BEIR 子集、页面截图等设置，并比较 TextRAG 与视觉页面检索。
  • PDF 摘要报告约 20%—40% 端到端性能增益；实际收益依赖页面分辨率、VLM、检索集合和生成模型，不应直接外推到所有文档。

局限与证据边界

  • 视觉页面 encoder 与 generator 的显存、吞吐、索引大小和 OCR 等效成本需要独立报告。
  • RAG 的端到端分数不等同于纯检索 Recall；需要同时报告证据页命中、nDCG 和答案质量。

对候选课题 A/B/C/D 的启发

  • A：可将页面视觉证据与 OCR 文本的 hard negative/错误解析做成可审计 benchmark。
  • B：页面多向量召回 + top-K VLM 精排直接对应成本—质量 Pareto 曲线。
  • C：文档语言和文化版式需要分语言评估；不能用英语结果代表中文。
  • D：这是 D 的强应用证据：论文页、表格、图表和截图不应被 OCR-only 预处理抹掉。

原始链接

元数据
{
  "id": "2026-07-14-visrag",
  "type": "source",
  "title": "VisRAG：面向多模态文档的视觉检索增强生成（Vision-based Retrieval-augmented Generation on Multi-modality Documents）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "vision-language",
    "efficiency",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "ICLR 2025",
  "authors": [
    "Shi Yu",
    "Chaoyue Tang",
    "Bokai Xu",
    "Junbo Cui",
    "Junhao Ran",
    "Yukun Yan",
    "Zhenghao Liu",
    "Shuo Wang",
    "Xu Han",
    "Zhiyuan Liu",
    "Maosong Sun"
  ],
  "published_at": "2024-10-14",
  "ingested_at": "2026-07-14",
  "canonical_links": [
    "https://arxiv.org/abs/2410.10594",
    "https://arxiv.org/pdf/2410.10594",
    "https://github.com/openbmb/VisRAG"
  ],
  "raw_entry": "raw/ingest/2026-07-14-visrag/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [],
  "claims": [
    "claims/claim-image-text-retrieval-baseline-and-specialization",
    "claims/claim-image-text-retrieval-unified-embedding"
  ],
  "questions": [
    "questions/question-image-text-retrieval-fine-grained-alignment"
  ]
}