LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-07-14

多边语义关系建模用于图文检索（Multilateral Semantic Relations Modeling for Image Text Retrieval）

#near-cvpr-2025#vision-language#representation-learning#primary-source

多边语义关系建模用于图文检索

一句话结论

MSRM 针对图文检索中的 one-to-many correspondence，把查询建模为概率嵌入，并用超图表达一个查询与 mini-batch 候选之间的高阶关系；它代表了从点对点相似度走向分布与关系建模的一条方法线。

问题、方法与训练目标

  • 同一图像可能对应多种合理描述，同一文本也可能对应多个视觉实例；只优化唯一 ground-truth pair 会丢失这种语义多样性。
  • 方法先用 Mahalanobis distance 学习概率 embedding，再把候选实例作为 hypergraph nodes、Gaussian query 作为 hyperedge，建模超越单个 pair 的语义关联。
  • 训练与评测仍以图文匹配/检索为主；论文重点是概率分布与 hypergraph relation，不是新增人工 hard-negative 数据。

数据、指标与关键发现

  • 在两个常用图文检索数据集上进行 image-to-text 与 text-to-image 实验，报告 Recall 类指标和多匹配场景的效果。
  • 论文报告相较既有方法提升 one-to-many matching，同时保持 instance-level matching 的竞争力。

局限与证据边界

  • 复杂关系模块增加训练与推理解释成本，是否适合百万/十亿级图库未由论文完全回答。
  • 公开实验仍主要是英文标准集；关系分解、中文长文本和真实用户意图需额外测试。

对候选课题 A/B/C/D 的启发

  • A：把 one-to-many 真值纳入 hard-negative/多真值审计，避免把唯一标注误当作绝对真值。
  • B：需要测量概率/超图模块在召回、精排和索引成本中的位置，而不是只看 Recall。
  • C：多语言描述天然增加一对多语义变体，可作为分语言校准变量。
  • D：页面图表与论文描述往往具有多证据对应关系，适合测试多向量/多真值匹配。

原始链接

元数据
{
  "id": "2026-07-14-msrm",
  "type": "source",
  "title": "多边语义关系建模用于图文检索（Multilateral Semantic Relations Modeling for Image Text Retrieval）",
  "status": "reviewed",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "vision-language",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "CVPR 2023",
  "authors": [
    "Zheng Wang",
    "Zhenwei Gao",
    "Kangshuai Guo",
    "Yang Yang",
    "Xiaoming Wang",
    "Heng Tao Shen"
  ],
  "published_at": "2023-06-01",
  "ingested_at": "2026-07-14",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/CVPR2023/html/Wang_Multilateral_Semantic_Relations_Modeling_for_Image_Text_Retrieval_CVPR_2023_paper.html",
    "https://openaccess.thecvf.com/content/CVPR2023/papers/Wang_Multilateral_Semantic_Relations_Modeling_for_Image_Text_Retrieval_CVPR_2023_paper.pdf"
  ],
  "raw_entry": "raw/ingest/2026-07-14-msrm/",
  "topics": [
    "topics/image-text-retrieval"
  ],
  "entities": [],
  "claims": [
    "claims/claim-image-text-retrieval-baseline-and-specialization"
  ],
  "questions": [
    "questions/question-image-text-retrieval-fine-grained-alignment"
  ]
}