Current judgment
Limited support · under reviewCurrent evidence supports a scoped judgment; broader transfer remains under review.
9 / 4
Supporting evidence 9
FashionIQ:用自然语言反馈检索图像(A New Dataset Towards Retrieving Images by Natural Language Feedback)→CIRR:用预训练视觉语言模型检索真实世界图像(Image Retrieval on Real-life Images)→SEARLE:用文本反演做零样本组合式图像检索(Zero-Shot Composed Image Retrieval with Textual Inversion)→ALIGN:用噪声文本监督扩展视觉与视觉语言表示学习(Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision)→Pic2Word:把图片映射成词,用于零样本组合式图像检索(Mapping Pictures to Words for Zero-shot Composed Image Retrieval)→
Counter-evidence and limits 4
Still to verify
More controlled comparisons across scale, budget, and tasks are needed to raise confidence.
命题
“参考图像 + 修改文本”的 composed image retrieval(CIR)比单纯 caption matching 更接近交互式搜索,同时有 FashionIQ、CIRR 和 CIRCO 等公开数据与代码,因此适合作为研究生阶段的可控切口;但其多真值、负例和域外问题还没有解决。
为什么重要
它把研究问题从“相似不相似”变成“保留哪些属性、改变哪些属性”,可以自然连接细粒度对齐、指令理解、难例构造和真实搜索接口。
支持证据
- FashionIQ 提供人类自然语言相对反馈与交互式检索设置。
- CIRR 将任务扩展到开放域真实图像。
- SEARLE/CIRCO 提供零样本方法与多 ground truth 评测。
- Pic2Word、LinCIR 和 KEDs 说明 zero-shot CIR 仍有清晰的表示学习问题;CoLLM 与 Generative ZS-CIR 分别从数据规模和伪目标图角度推进了可扩展路线。
反证或局限
- 三个数据集仍有受控采集、领域偏差、合理目标未标注和用户满意度未测的问题。
- 组合查询的提升可能来自参考图相似度或文本表面词,而非真正的修改意图。
- PinPoint 显示显式负例、query paraphrase 和多图查询会显著暴露现有方法的失败,因此“可落地”必须限定为经过压力测试的切口,而不是现成的通用能力。
当前评估
这是一个适合作为 proposal 候选、但必须先收窄领域和评价协议的 monitored 判断。推荐先选一个公开域,固定单向量 baseline,再增加组合性负例与多真值评测。