它是什么
这里把以图像编码器、文本编码器和共享表示空间为核心的一组视觉语言预训练路线放在一起。严格来说,ALIGN、FILIP、ALBEF、BLIP、CoCa 和 SigLIP 不是同一个模型,而是围绕 CLIP 式对齐接口的不同扩展。
方法演化
- CLIP 建立大规模图文对比学习与零样本迁移基线。
- ALIGN 主要扩大噪声网页数据和双塔规模。
- FILIP 通过 token/patch late interaction 加入细粒度对齐。
- ALBEF、BLIP 和 CoCa 组合对比、匹配、生成和蒸馏目标。
- SigLIP 修改损失归一化方式,重点改善 batch scaling 与训练效率。
研究边界
这些模型共同提供了图文检索的基础表示,但标准 Recall 不能证明组合性、长尾、跨语言或真实用户意图都被理解。具体能力应回到各 source note 与 图文检索主题页核验。