LLLMWIKI
正文元数据首页

问题 · 更新于 2026-07-14

如何审计图文检索中的预训练重叠、概念频率与 benchmark 污染？

#near-cvpr-2025#multimodal#vision-language#evaluation#survey-needed

开放问题

如何审计图文检索中的预训练重叠、概念频率与 benchmark 污染？

这个问题仍然开放，需要通过新的 primary evidence 继续收窄。

下一步证据需求

7候选来源1相关主题
查看证据入口 →

问题

怎样判断 Flickr30K、MS COCO、CIR、组合性 benchmark 或自建中文数据中的图像、caption、概念和近重复样本是否已经进入预训练数据？

为什么还没有解决

开放网页数据通常是链接索引，版本和图片可用性会变化；概念出现也不等于图文精确对齐。No Zero-Shot Without Exponential Data 展示了频率与表现的关系，但频率统计、近重复检测和语义重叠仍需要任务级协议。

什么证据会有帮助

  • 图像 hash、caption 近重复、概念频率和数据版本记录。
  • 预训练/下游 split 的来源隔离与污染敏感性实验。
  • 在标准 benchmark、长尾 benchmark 和真实域数据上同时报告结果。
  • 对合成 query、LLM 生成修改文本和人工筛选 hard negative 保留 provenance，分开记录生成、过滤和最终评测样本。

相关页面

元数据
{
  "id": "question-image-text-retrieval-data-contamination",
  "type": "question",
  "title": "如何审计图文检索中的预训练重叠、概念频率与 benchmark 污染？",
  "status": "open",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "evaluation",
    "survey-needed"
  ],
  "question_status": "open",
  "priority": "high",
  "related_topics": [
    "topics/image-text-retrieval"
  ],
  "related_entities": [
    "entities/clip-retrieval-benchmarks"
  ],
  "candidate_sources": [
    "sources/2026-07-14-laion-5b",
    "sources/2026-07-14-datacomp",
    "sources/2026-07-14-sugarcrepe",
    "sources/2026-07-14-no-zero-shot",
    "sources/2026-07-14-collm",
    "sources/2026-07-14-mieb",
    "sources/2026-07-14-pinpoint"
  ]
}