它是什么
M-BEIR 是 UniIR 工作提出的统一多模态信息检索 benchmark,围绕不同 query/target 模态和自然语言 instruction 组织多个检索任务。它的目标不是只测图像—caption 配对,而是测一个检索器能否根据任务意图返回图片、文本或图文对象。
与 MMEB 的关系
M-BEIR 与 VLM2Vec 的 MMEB 都试图扩大多模态 embedding 的任务覆盖,但两者任务集合、训练/评估拆分和指标不能直接视作同一个 benchmark。比较时应回到各自 source note,不要把平均分拼接。
研究价值与风险
它适合研究 instruction-conditioned retrieval、跨任务泛化和域外评估;风险是统一平均分可能掩盖某类 query 或某种语言的退化,也可能让任务 instruction 成为数据集识别 shortcut。