LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

No Zero-Shot Without Exponential Data预训练概念频率决定多模态模型性能

#near-cvpr-2025#multimodal#vision-language#evaluation#benchmarking#primary-source

一句话结论

这篇工作挑战了对多模态模型“zero-shot”的过度解释：在 27 个下游任务整理的 4,029 个概念上，模型表现与概念在预训练数据中的频率强相关，长尾概念上的所谓零样本能力可能更接近数据覆盖和记忆。

问题定义

CLIP 式模型通常在 Flickr30K、MS COCO、分类集等下游集合上直接评估，但这些概念可能已经出现在预训练网页数据中。论文研究如何测量预训练概念频率，以及频率是否解释检索、分类和生成的“zero-shot”表现。

方法概述

  • 整理来自 27 个下游任务的 4,029 个概念，并在五个大规模图文预训练数据集上统计概念出现频率。
  • 分析概念频率与图文检索、分类和图像生成表现的关系。
  • 构建长尾概念数据集 Let it Wag，用于在更少预训练覆盖的条件下测试泛化。

关键发现

  • 论文报告概念分布长尾，性能随预训练频率变化；长尾测试集上开放和闭源数据训练的模型都出现明显下降。
  • 论文据此认为，当前多模态模型需要指数级更多数据，才能让长尾概念的性能线性提升；这让“zero-shot”标签需要更谨慎的定义。
  • 对图文检索研究，数据去重、预训练—测试重叠审计和概念频率分层应成为实验协议，而不是可选附录。

局限或疑问

  • 概念频率统计依赖词表、文本匹配和图像概念检测；频率不是完整的数据泄漏因果证明。
  • 下游指标与网页概念的对应关系可能有偏差，长尾 benchmark 也不能覆盖所有真实用户需求。
  • 论文是预印本，且结论涉及多个任务，具体检索域需要单独复核。

证据边界

  • 直接证据：4,029 概念、27 个下游任务、五个预训练数据集、Let it Wag 与频率分析。
  • “评测污染是研究切口”由本论文、LAION-5B、DataComp 和 SugarCrepe 的不同证据共同支持。

原始链接

相关页面

Metadata
{
  "id": "2026-07-14-no-zero-shot",
  "type": "source",
  "title": "No Zero-Shot Without Exponential Data：预训练概念频率决定多模态模型性能",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "arXiv",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "evaluation",
    "benchmarking",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Vishaal Udandarao",
    "Ameya Prabhu",
    "Adhiraj Ghosh",
    "Yash Sharma",
    "Philip H. S. Torr",
    "Adel Bibi",
    "Samuel Albanie",
    "Matthias Bethge"
  ],
  "published_at": "2024-04-05",
  "canonical_links": [
    "https://arxiv.org/abs/2404.04125",
    "https://arxiv.org/pdf/2404.04125",
    "https://huggingface.co/datasets/bethgelab/let-it-wag",
    "https://github.com/bethgelab/frequency_determines_performance"
  ],
  "raw_entry": "raw/ingest/2026-07-14-no-zero-shot/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip-retrieval-benchmarks"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-data-quality",
    "claims/claim-image-text-retrieval-compositionality"
  ],
  "questions": [
    "questions/question-image-text-retrieval-data-contamination"
  ]
}