LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

FILIP细粒度交互式语言-图像预训练（Fine-grained Interactive Language-Image Pre-Training）

#near-cvpr-2025#multimodal#vision-language#representation-learning#primary-source

FILIP：细粒度交互式语言-图像预训练

会议：ICLR 2022
发表日期：2021-11-09（arXiv 首次提交）
资料加入日期：2026-07-14
原始材料：论文提取文本 与 PDF

一句话结论

FILIP 把图像 patch 与文本 token 的细粒度匹配加入对比学习，同时保留离线编码能力，是“全局双塔”和“昂贵 cross-encoder”之间的一条重要折中路线。

问题定义

CLIP/ALIGN 的全局向量容易只判断“这张图大概属于这个主题”，却不一定对齐局部实体和词语。另一方面，cross-attention 能做更细的交互，但图像库和文本库不能简单地独立预编码，检索成本会升高。FILIP 试图同时解决表达粒度和大规模检索效率。

方法概述

  • 图像 patch token 与文本 token 都投影到跨模态空间。
  • 对每个文本 token 找最相似的图像 token，用 token-wise maximum similarity 形成 late interaction（延迟交互）分数，再用于对比目标。
  • 论文构建 FILIP300M，并强调图像与文本表示可以预计算，检索时再做 token 级匹配；这比完整 cross-attention 更适合索引，但比单向量余弦相似度更复杂。

关键发现

  • 论文在 Flickr30K、MS COCO 与零样本视觉任务上报告了有竞争力的结果，并展示了词—patch 对齐可视化。
  • 消融结果支持细粒度交互和数据增强对检索/分类有帮助；论文还报告在比 CLIP 更少的训练数据下取得改进。
  • 这条路线把“多向量表示 + late interaction”引入视觉语言检索，后来可与 ColPali 等文档检索方法形成方法上的连续性。

局限或疑问

  • token 级匹配需要保存更多表示并增加查询—候选计算；它是否值得在百万/十亿级图库中部署，取决于索引压缩、候选召回和延迟约束。
  • token-wise max 可能被局部偶然相似度或背景纹理利用，不能自动保证真正的关系理解。
  • FILIP300M 与互联网图文数据仍有噪声，细粒度结构监督不足。

证据边界

  • 直接证据：论文的 late interaction、FILIP300M、Flickr30K/MS COCO 实验与词—patch 可视化。
  • 对“适合研究生研究”的判断是综合推断：论文证明了方法可行，但没有替小团队解决数据获取、索引规模和鲁棒评测问题。

原始链接

相关页面

元数据
{
  "id": "2026-07-14-filip",
  "type": "source",
  "title": "FILIP：细粒度交互式语言-图像预训练（Fine-grained Interactive Language-Image Pre-Training）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "venue": "ICLR 2022",
  "ingested_at": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Lewei Yao",
    "Runhui Huang",
    "Lu Hou",
    "Guansong Lu",
    "Minzhe Niu",
    "Hang Xu",
    "Xiaodan Liang",
    "Zhenguo Li",
    "Xin Jiang",
    "Chunjing Xu"
  ],
  "published_at": "2021-11-09",
  "canonical_links": [
    "https://arxiv.org/abs/2111.07783",
    "https://arxiv.org/pdf/2111.07783",
    "https://github.com/lanlao/filip"
  ],
  "raw_entry": "raw/ingest/2026-07-14-filip/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [
    "entities/clip"
  ],
  "claims": [
    "claims/claim-image-text-retrieval-baseline-and-specialization"
  ],
  "questions": [
    "questions/question-image-text-retrieval-fine-grained-alignment"
  ]
}