LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

LAION-5B用于下一代图文模型的开放大规模数据集（An open large-scale dataset for training next generation image-text models）

#near-cvpr-2025#multimodal#vision-language#representation-learning#primary-source

LAION-5B：用于下一代图文模型的开放大规模数据集

会议：NeurIPS 2022 Datasets and Benchmarks
发表日期：2022-10-16
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

LAION-5B 把公开可研究的图文对规模推进到 58.5 亿，其中约 23.2 亿条包含英语文本；它降低了开放复现门槛，也把链接失效、网页噪声、内容安全、许可和 CLIP 过滤的循环偏差带进了研究问题。

问题定义

闭源模型的训练图文数据通常无法访问，研究者难以研究大规模图文预训练。LAION-5B 试图提供可搜索、可筛选的开放索引和近邻工具，让研究者能够构造子集并复现实验。

方法概述

  • 从网页获取图片链接与文本，使用 CLIP 相似度过滤图文对。
  • 提供语言、分辨率、watermark、NSFW、毒性等检测分数，以及近邻索引和数据探索界面。
  • 数据本身主要是链接和元数据；研究者需要重新获取图片，并承担链接可用性与合规审计。

关键发现

  • 论文展示了用 LAION-5B 复现/微调 CLIP、GLIDE 和 Stable Diffusion 等模型的可能性。
  • 对图文检索研究而言，LAION-5B 的价值不只是“更大训练集”，还在于能做数据筛选、语言分布、质量阈值和近邻污染分析。
  • 其 CLIP 过滤机制也提醒我们：用一个已有图文模型筛数据，再用相近模型评估，可能把模型偏好循环放大。

局限或疑问

  • 数据不等于稳定、完整、可直接训练的图片仓库；外部链接失效和数据版本差异会影响复现。
  • 过滤分数不是人工质量真值，不能保证 caption 与图片精确对应。
  • 数据安全、版权和隐私风险必须成为实验设计的一部分，不能只写在附录里。

证据边界

  • 直接证据：论文给出的数据规模、过滤字段、索引工具和复现实验。
  • 本页不把 LAION-5B 的开放性等同于“可无条件使用”；具体子集必须单独审计。

原始链接

相关页面

元数据
{
  "id": "2026-07-14-laion-5b",
  "type": "source",
  "title": "LAION-5B：用于下一代图文模型的开放大规模数据集（An open large-scale dataset for training next generation image-text models）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "NeurIPS 2022 Datasets and Benchmarks",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Christoph Schuhmann",
    "Romain Beaumont",
    "Richard Vencu",
    "Cade Gordon",
    "Ross Wightman",
    "Mehdi Cherti",
    "Theo Coombes",
    "Aarush Katta",
    "Clayton Mullis",
    "Mitchell Wortsman",
    "et al."
  ],
  "published_at": "2022-10-16",
  "canonical_links": [
    "https://arxiv.org/abs/2210.08402",
    "https://proceedings.neurips.cc/paper_files/paper/2022/hash/a1859debfb3b59d094f3504d5ebb6c25-Abstract-Datasets_and_Benchmarks.html",
    "https://proceedings.neurips.cc/paper_files/paper/2022/file/a1859debfb3b59d094f3504d5ebb6c25-Paper-Datasets_and_Benchmarks.pdf",
    "https://laion.ai/"
  ],
  "raw_entry": "raw/ingest/2026-07-14-laion-5b/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-data-quality",
    "claims/claim-image-text-retrieval-unified-embedding"
  ],
  "questions": [
    "questions/question-image-text-retrieval-data-contamination"
  ]
}