LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

一张图胜过 77 个文本 token在密集描述上评估 CLIP 类模型（A Picture is Worth More Than 77 Text Tokens）

#near-cvpr-2025#vision-language#benchmarking#evaluation#primary-source

一张图胜过 77 个文本 token

一句话结论

DCI 用 7,805 张自然图像、平均超过 1,000 词的 mask-aligned dense captions 与 sDCI 短描述，构造 subcrop-caption matching 评测；它发现标准 benchmark 上的进步不一定转化为细粒度局部对齐能力。

问题、数据与评测

  • 现有网页 caption 往往短且松散，无法检验图像局部区域与文本细节的对齐。
  • DCI 的人工描述与图像局部 mask 对齐；sDCI 把描述压缩到当前 CLIP 常用的 77-token 限制内。
  • 评测包含 subcrop-caption matching 与 negatives-based test；还用 sDCI 小规模微调 CLIP，比较数据效率。

关键发现与可比性

  • 论文报告现有模型难以同时在标准检索、负例测试和局部 subcrop 匹配上表现良好。
  • 使用高质量 dense captions 微调，即使训练集较小，也能改善若干评测；这支持“监督质量比单纯规模更关键”的研究假设。

局限与证据边界

  • DCI 是自然图像局部 caption 数据，不等于通用用户搜索；人工 mask/描述成本高。
  • 负例构造是否自然、模型是否依赖文本先验，仍需要与 COLA、PinPoint 和人工审计结合。

对候选课题 A/B/C/D 的启发

  • A：为 hard negative 评测增加“同图不同区域”和 dense caption 对照，检查 benchmark shortcut。
  • B：局部匹配模型可只用于 top-K 精排，测量 subcrop 证据收益与存储成本。
  • C：dense captions 的多语言/文化覆盖是明显缺口。
  • D：论文图表、实验截图和体育战术图都适合采用 mask/区域证据标注，强化应用驱动切口。

原始链接

元数据
{
  "id": "2026-07-14-dci",
  "type": "source",
  "title": "一张图胜过 77 个文本 token：在密集描述上评估 CLIP 类模型（A Picture is Worth More Than 77 Text Tokens）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "vision-language",
    "benchmarking",
    "evaluation",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "CVPR 2024",
  "authors": [
    "Jack Urbanek",
    "Florian Bordes",
    "Pietro Astolfi",
    "Mary Williamson",
    "Vasu Sharma",
    "Adriana Romero-Soriano"
  ],
  "published_at": "2024-06-01",
  "ingested_at": "2026-07-14",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/CVPR2024/html/Urbanek_A_Picture_is_Worth_More_Than_77_Text_Tokens_Evaluating_CVPR_2024_paper.html",
    "https://openaccess.thecvf.com/content/CVPR2024/papers/Urbanek_A_Picture_is_Worth_More_Than_77_Text_Tokens_Evaluating_CVPR_2024_paper.pdf"
  ],
  "raw_entry": "raw/ingest/2026-07-14-dci/",
  "topics": [
    "topics/image-text-retrieval"
  ],
  "entities": [],
  "claims": [
    "claims/claim-image-text-retrieval-compositionality"
  ],
  "questions": [
    "questions/question-image-text-retrieval-hard-negatives"
  ]
}