它是什么
ColPali 是一个直接对文档页面图像编码的视觉语言检索路线。它输出页面多向量表示,使用 late interaction 与 query 匹配,并用 ViDoRe 评估视觉丰富文档页面的检索。
为什么与图文检索相关
它把 FILIP 类 patch/token 对齐从自然图像 caption 扩展到 PDF 页面、表格、布局和图形。对于研究生项目,这提供了一个可控的领域化场景:页面可以离线渲染,query、证据页和多真值能够被明确记录。
需要保留的边界
视觉文档检索不是普通图片 caption retrieval。页面分辨率、OCR 信息、版式和 query 类型都会影响结果;多向量检索的存储与延迟也必须和文本/OCR pipeline 同条件比较。