当前判断
有限支持 · 持续复核当前证据支持一个范围受限的判断,跨任务外推仍需继续核验。
8 / 3
支持证据 8
ARO:视觉语言模型何时像词袋,以及如何改进(When and why vision-language models behave like bags-of-words)→Winoground:探测视觉语言组合性(Probing Vision and Language Models for Visio-Linguistic Compositionality)→SugarCrepe:修复可被捷径攻破的视觉语言组合性基准(Fixing Hackable Benchmarks)→No Zero-Shot Without Exponential Data:预训练概念频率决定多模态模型性能→COLA:组合式文本到图像检索基准(A Benchmark for Compositional Text-to-image Retrieval)→
仍待验证
需要更多同规模、同预算、跨任务的受控比较,才能继续提升判断强度。
命题
在 Flickr30K、MS COCO 等标准图文检索上获得较高 Recall,只能说明模型在该数据和候选协议下能排序匹配图文,不能单独证明模型理解对象—属性绑定、关系、词序、数量或反事实组合。
为什么重要
如果把 Recall 提升直接写成“视觉语言理解提升”,会掩盖真正的研究缺口,也会让模型在存在文本或数据集捷径时得到虚假进步。
支持证据
- ARO 发现属性、关系和词序失败,并指出标准 retrieval 可被 shortcut 支撑。
- Winoground 的同词不同序 2×2 任务让多数模型接近随机。
- SugarCrepe 发现 blind text-only model 可以攻破已有组合性 benchmark。
- No Zero-Shot Without Exponential Data 进一步提醒下游概念可能已经出现在预训练数据中。
- CoLA、CIR Robustness 和 PinPoint 将问题扩展到模型鲁棒性、显式负例、多真值和 query 改写;MIEB 则显示组合性只是统一 embedding 能力的一部分,不能被平均分替代。
反证或局限
当前评估
本命题在本轮证据中达到 supported。任何新的图文检索方法至少应同时报告标准 Recall、组合性 hard negatives、text-only/image-only 对照、数据重叠审计和失败案例。