LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

DataComp寻找下一代多模态数据集（In search of the next generation of multimodal datasets）

#near-cvpr-2025#multimodal#vision-language#benchmarking#representation-learning#primary-source

DataComp：寻找下一代多模态数据集

会议：NeurIPS 2023 Datasets and Benchmarks
发表日期：2023-04-27
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

DataComp 把“筛什么数据”变成了可控实验：在 128 亿图文候选池上固定训练代码、计算规模和 38 个下游评测，让数据过滤、去重、配比和来源能够像模型结构一样被系统比较。

问题定义

多模态论文常同时改变数据、模型、训练步数和评测，导致无法判断收益来自哪里。DataComp 研究如何在固定模型训练流程下，单独比较图文数据设计，并让不同算力预算的研究者参加。

方法概述

  • 建立 Common Crawl 图文候选池与多种数据规模。
  • 参与者设计过滤器、数据来源或混合策略，再使用统一 CLIP 训练代码。
  • 用 ImageNet、图文检索和其他共 38 个测试集评估数据集，而不是只看单一 leaderboard。

关键发现

  • 论文的 DataComp-1B baseline 训练 CLIP ViT-L/14，在相同训练流程下 ImageNet zero-shot accuracy 比 OpenAI CLIP ViT-L/14 高 3.7 个百分点；这是数据配方证据，不是所有检索域都同幅度提升的证明。
  • 多规模设置让研究者可以研究数据质量—计算量—性能的曲线，而不是只追求十亿级数据。
  • 对研究生方向而言，数据过滤、难例构造、去重和域分布控制本身就是可做的研究变量，且比从零训练基础模型更可控。

局限或疑问

  • 统一 CLIP 训练代码和 38 个测试集仍然代表一种评测视角，不能覆盖所有检索用户需求。
  • 数据筛选收益可能随模型架构、语言、领域和污染程度变化；公开 benchmark 结果不能直接外推到中文或行业图库。
  • 大规模候选池仍需要存储、下载和合规处理，不等于零成本实验。

证据边界

  • 直接证据：候选池规模、固定训练/评测协议、DataComp-1B baseline 与 38 个测试集。
  • “数据研究适合中等算力”是基于其多规模设计和可复用训练代码的工程判断，仍需核算具体硬件。

原始链接

相关页面

Metadata
{
  "id": "2026-07-14-datacomp",
  "type": "source",
  "title": "DataComp：寻找下一代多模态数据集（In search of the next generation of multimodal datasets）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "NeurIPS 2023 Datasets and Benchmarks",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "benchmarking",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Samir Yitzhak Gadre",
    "Gabriel Ilharco",
    "Alex Fang",
    "Jonathan Hayase",
    "Georgios Smyrnis",
    "Thao Nguyen",
    "Ryan Marten",
    "Mitchell Wortsman",
    "et al."
  ],
  "published_at": "2023-04-27",
  "canonical_links": [
    "https://arxiv.org/abs/2304.14108",
    "https://arxiv.org/pdf/2304.14108",
    "https://proceedings.neurips.cc/paper_files/paper/2023/hash/56332d41d55ad7ad8024aac625881be7-Abstract-Datasets_and_Benchmarks.html",
    "https://www.datacomp.ai/"
  ],
  "raw_entry": "raw/ingest/2026-07-14-datacomp/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip-retrieval-benchmarks"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-data-quality",
    "claims/claim-image-text-retrieval-baseline-and-specialization"
  ],
  "questions": [
    "questions/question-image-text-retrieval-data-contamination"
  ]
}