LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

单 GPU 上的数据高效多模态融合（Data-Efficient Multimodal Fusion on a Single GPU）

#near-cvpr-2025#vision-language#efficiency#representation-learning#primary-source

单 GPU 上的数据高效多模态融合

一句话结论

FuseMix 在冻结 unimodal encoder 的 latent space 上做跨模态 mixup 式增强，论文报告在 Flickr30K text-to-image retrieval 上用约 80 倍更少的 image-text pairs、约 600 倍更少 GPU days 取得有竞争力结果；它证明有限算力课题可以把数据效率作为核心变量。

方法与训练目标

  • 复用预训练的图像和文本 encoder，不从零训练大型图文模型。
  • 对不同模态的 latent feature 使用共享 mixing coefficient 做 FuseMix，再用少量配对图文进行 multimodal alignment。
  • 训练目标仍是共享空间对齐/对比式检索；论文还展示可扩展到 audio-text 与生成模型接口，但本页只把图文检索证据纳入主判断。

数据、指标与关键发现

  • 以 Flickr30K 等 image-text retrieval benchmark 的 Recall@1 等指标比较不同配对数据规模和计算预算。
  • 论文强调数据质量与多样性在低数据 regime 中很重要；“单 GPU”是论文实验约束下的工程证据，不代表任何 GPU 都能复现全部模型规模。

局限与证据边界

  • 结果依赖已有 unimodal encoder 的质量，不能说明从零训练图文基础模型也能低成本完成。
  • 论文关注数据/计算效率，对 hard-negative、中文、专业文档和用户满意度覆盖有限。

对候选课题 A/B/C/D 的启发

  • A：可用 FuseMix 构造低成本对照，检查 hard negative 增益是否来自数据规模而非方法。
  • B：冻结 encoder、扫候选预算和轻量头，符合中等 GPU 的可行性。
  • C：研究不同语言 pair 的 FuseMix 是否公平，尤其是低资源语言覆盖。
  • D：视觉文档页面与 OCR 文本可作为异质 unimodal encoder 的融合案例。

原始链接

Metadata
{
  "id": "2026-07-14-fusemix",
  "type": "source",
  "title": "单 GPU 上的数据高效多模态融合（Data-Efficient Multimodal Fusion on a Single GPU）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "vision-language",
    "efficiency",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "CVPR 2024",
  "authors": [
    "Noël Vouitsis",
    "Zhaoyan Liu",
    "Satya Krishna Gorti",
    "Valentin Villecroze",
    "Jesse C. Cresswell",
    "Guangwei Yu",
    "Gabriel Loaiza-Ganem",
    "Maksims Volkovs"
  ],
  "published_at": "2024-06-01",
  "ingested_at": "2026-07-14",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/CVPR2024/html/Vouitsis_Data-Efficient_Multimodal_Fusion_on_a_Single_GPU_CVPR_2024_paper.html",
    "https://openaccess.thecvf.com/content/CVPR2024/papers/Vouitsis_Data-Efficient_Multimodal_Fusion_on_a_Single_GPU_CVPR_2024_paper.pdf",
    "https://github.com/layer6ai-labs/fusemix"
  ],
  "raw_entry": "raw/ingest/2026-07-14-fusemix/",
  "topics": [
    "topics/image-text-retrieval"
  ],
  "entities": [],
  "claims": [
    "claims/claim-image-text-retrieval-baseline-and-specialization"
  ],
  "questions": [
    "questions/question-image-text-retrieval-research-cut"
  ]
}