LLLMWIKI
ArticleMetadataMain page

Source note · Updated 2026-07-14

SigLIP语言-图像预训练的 Sigmoid 损失（Sigmoid Loss for Language Image Pre-Training）

#near-cvpr-2025#multimodal#vision-language#representation-learning#efficiency#primary-source

SigLIP：语言-图像预训练的 Sigmoid 损失

会议：ICCV 2023
发表日期：2023-03-27
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

SigLIP 的主要变化是把 CLIP 常用的 batch-level softmax 对比损失替换为 pairwise sigmoid loss；它不需要对整个 batch 的相似度做全局归一化，在较小设备上更容易训练和扩展 batch，但没有解决图文语义粒度与评测有效性问题。

问题定义

softmax 对比学习的归一化依赖全局 batch，相应的显存和并行通信成本会限制规模。SigLIP 研究能否让每个正/负图文对独立参与损失，并在不同 batch size 下保持效果。

方法概述

  • 对配对图文使用正标签，对非配对图文使用负标签，通过 sigmoid 二分类形式优化相似度。
  • 论文比较了 batch size、正负比例与数据数量，并结合 Locked-image Tuning（LiT）训练 SigLiT。
  • 论文报告 batch size 增大到约 32K 后收益很快减弱，为小规模复现实验提供了比“无限扩大 batch”更具体的参考。

关键发现

  • SigLIP 在小 batch 和大 batch 设置下都表现有竞争力，并展示了使用少量 TPU 训练 SigLiT 的结果。
  • 研究重点是训练效率和损失形式，而不是新的检索架构；对研究生项目，它更适合用作可复现的损失/采样基线。
  • 去掉全局 batch 归一化并不等于去掉负例设计，正负比例和数据质量仍会影响表示学习。

局限或疑问

  • 论文主要以零样本分类和预训练指标说明收益，不能仅凭 SigLIP 损失推出所有图文检索任务都更好。
  • loss 的收益依赖模型、数据配方和优化设置；小 batch 下的“更容易训练”仍需在目标数据域重测。
  • 细粒度关系、长尾概念和跨语言能力需要额外 benchmark。

证据边界

  • 直接证据：pairwise sigmoid loss、batch-size 分析、SigLiT 资源设置与论文实验。
  • “适合中等算力”是工程推断，不是论文对任意硬件的保证。

原始链接

相关页面

Metadata
{
  "id": "2026-07-14-siglip",
  "type": "source",
  "title": "SigLIP：语言-图像预训练的 Sigmoid 损失（Sigmoid Loss for Language Image Pre-Training）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "ICCV 2023",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "representation-learning",
    "efficiency",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Xiaohua Zhai",
    "Basil Mustafa",
    "Alexander Kolesnikov",
    "Lucas Beyer"
  ],
  "published_at": "2023-03-27",
  "canonical_links": [
    "https://arxiv.org/abs/2303.15343",
    "https://arxiv.org/pdf/2303.15343",
    "https://github.com/google-research/big_vision"
  ],
  "raw_entry": "raw/ingest/2026-07-14-siglip/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-unified-embedding",
    "claims/claim-image-text-retrieval-baseline-and-specialization"
  ],
  "questions": [
    "questions/question-image-text-retrieval-research-cut"
  ]
}