LLLMWIKI
ArticleMetadataMain page

Claim · Updated 2026-07-14

组合式查询是图文检索中可落地且仍有缺口的研究切口

Current judgment

Limited support · under review

Current evidence supports a scoped judgment; broader transfer remains under review.

9 / 4

Still to verify

More controlled comparisons across scale, budget, and tasks are needed to raise confidence.

命题

“参考图像 + 修改文本”的 composed image retrieval(CIR)比单纯 caption matching 更接近交互式搜索,同时有 FashionIQ、CIRR 和 CIRCO 等公开数据与代码,因此适合作为研究生阶段的可控切口;但其多真值、负例和域外问题还没有解决。

为什么重要

它把研究问题从“相似不相似”变成“保留哪些属性、改变哪些属性”,可以自然连接细粒度对齐、指令理解、难例构造和真实搜索接口。

支持证据

  • FashionIQ 提供人类自然语言相对反馈与交互式检索设置。
  • CIRR 将任务扩展到开放域真实图像。
  • SEARLE/CIRCO 提供零样本方法与多 ground truth 评测。
  • Pic2WordLinCIRKEDs 说明 zero-shot CIR 仍有清晰的表示学习问题;CoLLMGenerative ZS-CIR 分别从数据规模和伪目标图角度推进了可扩展路线。

反证或局限

  • 三个数据集仍有受控采集、领域偏差、合理目标未标注和用户满意度未测的问题。
  • 组合查询的提升可能来自参考图相似度或文本表面词,而非真正的修改意图。
  • PinPoint 显示显式负例、query paraphrase 和多图查询会显著暴露现有方法的失败,因此“可落地”必须限定为经过压力测试的切口,而不是现成的通用能力。

当前评估

这是一个适合作为 proposal 候选、但必须先收窄领域和评价协议的 monitored 判断。推荐先选一个公开域,固定单向量 baseline,再增加组合性负例与多真值评测。