LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

多语言多样性改善视觉语言表示（Multilingual Diversity Improves Vision-Language Representations）

#near-cvpr-2025#multimodal#vision-language#representation-learning#primary-source

多语言多样性改善视觉语言表示

来源：arXiv
发表日期：2024-05-27（arXiv 首次提交；原文后续有修订）
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

这篇工作把多语言图文数据从“只服务于非英语检索”的附加选项提升为数据多样性变量：在固定数据筛选思路下，把非英语 caption 翻译并重新过滤后，模型在 ImageNet 分布变化、英文图文检索和 DataComp 任务上都可能受益。

问题定义

网页图文筛选常偏向英语，因为下游 benchmark 也偏英语；这会同时损害文化、地域和概念覆盖。论文研究增加多语言样本是否仅改善多语言任务，还是也能改善英语视觉任务和域外泛化。

方法概述

  • 从多语言网页图文池出发，把文本翻译成英语后重新进行过滤，尽量固定语言而保留图像/文化多样性。
  • 训练 CLIP 风格模型，比较英语主导数据与加入翻译多语言数据的配方。
  • 在 ImageNet、分布变化、MS COCO/Flickr 检索和 DataComp 任务上比较。

关键发现

  • 论文报告翻译后的多语言数据对 ImageNet 分布变化、英文图文检索和 38 个 DataComp 任务平均表现有提升；在地理多样的 GeoDE 上不同地区也有收益。
  • 这提示检索模型的“语言能力”与训练数据的地域/文化覆盖相互耦合，不应只以英文 Flickr30K/MS COCO 估计泛化。
  • 对中文研究者，中文/多语数据筛选、跨语言对齐和文化长尾评测是有明确实验入口的子方向。

局限或疑问

  • 翻译模型本身会改变文本表达，不能完全代表原生多语言 caption。
  • 论文强调英文检索和视觉任务，不能直接证明中文→图像或图像→中文 caption 的对称性能。
  • 多语言数据比例、翻译质量和地域采样策略需要在具体目标域重新消融。

证据边界

  • 直接证据：数据翻译/过滤流程、下游任务范围和论文报告的跨域结果。
  • “中文图文检索值得作为切口”是结合用户背景与论文数据分布得到的研究建议，不是论文原文结论。

原始链接

相关页面

元数据
{
  "id": "2026-07-14-multilingual-diversity",
  "type": "source",
  "title": "多语言多样性改善视觉语言表示（Multilingual Diversity Improves Vision-Language Representations）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "arXiv",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Thao Nguyen",
    "Matthew Wallingford",
    "Sebastin Santy",
    "Wei-Chiu Ma",
    "Sewoong Oh",
    "Ludwig Schmidt",
    "Pang Wei Koh",
    "Ranjay Krishna"
  ],
  "published_at": "2024-05-27",
  "canonical_links": [
    "https://arxiv.org/abs/2405.16915",
    "https://arxiv.org/pdf/2405.16915",
    "https://huggingface.co/datasets/thaottn/datacomp-medium-pool-translated"
  ],
  "raw_entry": "raw/ingest/2026-07-14-multilingual-diversity/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [],
  "claims": [
    "claims/claim-image-text-retrieval-data-quality",
    "claims/claim-image-text-retrieval-data-quality"
  ],
  "questions": [
    "questions/question-image-text-retrieval-unified-embedding"
  ]
}