Current judgment
Limited support · under reviewCurrent evidence supports a scoped judgment; broader transfer remains under review.
9 / 4
Supporting evidence 9
UniIR:训练和评测通用多模态信息检索器(Training and Benchmarking Universal Multimodal Information Retrievers)→VLM2Vec:把视觉语言模型训练成通用多模态向量模型(Training Vision-Language Models for Massive Multimodal Embedding Tasks)→ColPali:用视觉语言模型做高效文档检索(Efficient Document Retrieval with Vision Language Models)→SigLIP:语言-图像预训练的 Sigmoid 损失(Sigmoid Loss for Language Image Pre-Training)→多语言多样性改善视觉语言表示(Multilingual Diversity Improves Vision-Language Representations)→
Still to verify
More controlled comparisons across scale, budget, and tasks are needed to raise confidence.
命题
统一 embedding(向量表示)是图文检索的重要前沿,但“支持多种输入”不等于“在所有任务上通用”。评价它至少需要拆开任务指令、query/target 模态、语言/领域、域外泛化、向量存储和延迟。
为什么重要
如果只比较一个平均分,研究者可能看不到某个语言、组合查询或文档场景的退化;如果只看生成式 VLM 的语义能力,又可能忽略向量索引系统的实际成本。
支持证据
- UniIR/M-BEIR 将不同检索任务和 instruction 放入统一框架。
- VLM2Vec/MMEB 将 VLM 转成多任务 embedding,并包含域外评估。
- ColPali 说明多向量表示与视觉文档检索可以结合。
- 多语言多样性 说明语言和地域分布是泛化变量。
- E5-V、MIEB 和 SigLIP 2 提供了跨任务、跨语言和多尺度 embedding 的新证据;VisRAG 则把统一表示连接到视觉文档 RAG。
反证或局限
- ALBEF 和 FILIP 说明专用精排/多向量路线仍有价值,统一单向量未必能替代它们。
- ColPali 的多向量优势伴随索引成本,不能把精度提升直接等同于系统优势。
- MIRACL-VISION 在文字密集的多语言页面上观察到文本模型明显优于视觉模型,说明“统一视觉 embedding”不能替代按证据类型分层的基线。
当前评估
暂记为 monitored 趋势判断。对于中等算力项目,更现实的是冻结或轻量适配已有 backbone,做任务条件融合、域外测试和成本曲线,而不是重新训练超大通用模型。