LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

CoLLM用于组合式图像检索的大语言模型

#near-cvpr-2025#vision-language#reasoning#conditioning#primary-source

一句话结论

CoLLM 用大语言模型从普通 image-caption pairs 动态生成组合式训练三元组，并提出包含 3.4M 图像对、17.7M 修改文本的 MTCIR；它说明组合式检索的瓶颈不只是模型融合，也包括训练数据的规模、自然度和评测可靠性。

问题、方法与训练目标

  • 传统 CIR 需要人工收集“参考图—修改文本—目标图”三元组，规模和领域覆盖有限；仅用 image-caption pairs 又缺少组合查询监督。
  • CoLLM 用多模态大模型生成详细 caption，再用 LLM 描述两张图像之间的差异，动态构造组合查询，并用 LLM 生成参考图与修改文本的 joint embedding。
  • MTCIR 为每个图像对提供多个短修改文本，覆盖不同属性和自然语言表达；同时重新检查 CIRR、FashionIQ 的歧义样本。

数据、指标与关键发现

  • MTCIR 包含约 3.4M 图像对和 17.7M 修改文本；论文在 CIRR、FashionIQ 及其修订版本上使用 Recall@K 等指标。
  • CoLLM 在多种 zero-shot 设置中取得强结果；使用 MTCIR 训练时报告相对既有训练数据约 1%—15% 的改进，摘要概括为最高约 15%。
  • 结果支持“自然、多样、多文本监督”有价值，但同时把 LLM 生成偏差、图像配对策略和 benchmark 清洗引入了实验变量。

局限与证据边界

  • MTCIR 主要是合成文本和自动流程，不能直接等同于真实用户查询；LLM 生成质量与过滤策略会影响结论。
  • 论文聚焦 CIR，不能直接证明方法对普通 caption retrieval、中文专业文档或跨领域检索同样有效。
  • 训练和评测仍依赖较强视觉语言模型；应报告生成数据成本、预训练重叠和跨数据集泛化。

对候选课题 A/B/C/D 的启发

  • A：可研究多种修改文本、显式负例和 benchmark 去歧义如何改变组合性结论。
  • B：LLM 生成查询适合做离线数据增强，但要把生成成本和检索系统成本分开核算。
  • C：将多文本监督按中文/英文和领域分层，检验“自然语言多样性”是否真的带来跨语言泛化。
  • D：把 LLM 描述的视觉差异与页面局部证据结合，可用于专业文档或战术图的 query 构造，但需人工审计。

原始链接

元数据
{
  "id": "2026-07-14-collm",
  "type": "source",
  "title": "CoLLM：用于组合式图像检索的大语言模型",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "vision-language",
    "reasoning",
    "conditioning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "CVPR 2025",
  "authors": [
    "Chuong Huynh",
    "Jinyu Yang",
    "Ashish Tawari",
    "Mubarak Shah",
    "Son Tran",
    "Raffay Hamid",
    "Trishul Chilimbi",
    "Abhinav Shrivastava"
  ],
  "published_at": "2025-06-01",
  "ingested_at": "2026-07-14",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/CVPR2025/html/Huynh_CoLLM_A_Large_Language_Model_for_Composed_Image_Retrieval_CVPR_2025_paper.html",
    "https://collm-cvpr25.github.io/"
  ],
  "raw_entry": "raw/ingest/2026-07-14-collm/",
  "topics": [
    "topics/image-text-retrieval",
    "topics/vision-language"
  ],
  "entities": [],
  "claims": [
    "claims/claim-image-text-retrieval-composed-query",
    "claims/claim-image-text-retrieval-compositionality"
  ],
  "questions": [
    "questions/question-image-text-retrieval-hard-negatives",
    "questions/question-image-text-retrieval-research-cut"
  ]
}