Foundation
Foundations of Core Vision Tasks
用输出结构区分分类、目标检测、语义/实例分割、姿态估计和多目标跟踪，并解释它们怎样共享表示又需要不同标注与指标。
Learning path
- DefinitionClarify what it is
- MechanismFollow the information flow
- EvolutionLocate landmark papers
- ResearchContinue into active topics
Concept map
From intuition to research connections
1DefinitionClarify what it is
2MechanismFollow the information flow
3EvolutionLocate landmark papers
4ResearchContinue into active topics
一句话定义
核心视觉任务的差别首先在输出：分类给整图标签，检测给物体类别与框，分割给像素标签或实例掩码，姿态给结构化关键点，跟踪则在连续帧中维持对象身份与轨迹。
它们可以共享同一个主干，但不能用同一指标互相替代；检测准确不保证姿态正确，单帧分割也不保证跨帧身份稳定。
一张图看懂原理
每种核心视觉任务到底要求模型输出什么？
同一张图可以对应五种不同答案
输出越结构化，标注和匹配越复杂。分类只问“有什么”，跟踪还必须回答“这一帧和上一帧是不是同一个”。
- 分类一张图或片段对应类别概率，不要求指出物体位置
- 目标检测为每个物体输出类别、边界框和置信度
- 语义/实例分割为像素赋类，并在实例分割中分开同类个体
- 姿态估计输出人体或物体的关键点、连接与置信度
- 多目标跟踪跨帧连接检测或特征，为每个对象维持 ID 和轨迹
分类输出标签，检测输出类别框，语义分割输出像素类别，实例分割和姿态输出个体结构，跟踪输出跨帧身份轨迹。
前置概念与术语
- 类别（class）：任务预先定义的语义集合；开放世界中类别可能不完整。
- 边界框（bounding box）：通常用中心/宽高或角点描述物体矩形范围。
- 交并比（Intersection over Union, IoU）：预测与真值区域重叠面积除以并集面积。
- 平均精度（Average Precision, AP）：在置信阈值变化下综合 precision-recall；检测、mask 和 keypoint AP 的匹配定义不同。
- 语义分割（semantic segmentation）：同类像素共享类别，不区分个体。
- 实例分割（instance segmentation）：同类不同对象需要独立掩码。
- 关键点（keypoint）：关节或结构位置，常带可见性/置信度。
- 数据关联（data association）：判断跨帧观测属于哪个已有轨迹。
- 身份切换（ID switch）：跟踪器把一个真实对象错误换到另一 ID。
- 遮挡（occlusion）：对象部分或完全不可见，是姿态与跟踪的核心困难。
历史演化
核心视觉任务怎样从分类表示逐步扩展？
从整图标签到可提示、可追踪的结构输出
时间线按输出结构变化组织：先学习整图表示，再加入候选定位、像素预测、实例对齐、集合预测和可提示接口。
- 2012 · 整图分类深度网络从大规模标签学习层级视觉表示
- 2015 · 定位与像素Faster R-CNN 学候选区域，FCN 端到端输出密集类别
- 2017 · 实例与对齐Mask R-CNN 用 RoIAlign 和 mask 分支分开同类个体
- 2020 · 集合预测DETR 用 object query 与二分匹配减少 anchor/proposal/NMS 依赖
- 2023 · 提示式分割SAM 把点、框、粗 mask 变成通用分割接口
- 当前 · 视频与开放世界跟踪、开放词汇、交互提示和多任务系统共同扩展输出边界
2012 分类转折，2015 检测与全卷积分割，2017 实例分割，2020 DETR 集合预测，2023 SAM 可提示分割，随后多任务基础模型与视频关联发展。
核心机制
- 分类：主干汇聚空间特征，分类头输出类别概率；训练常用交叉熵，评测 top-k 或多标签指标。
- 检测：预测一组带位置的对象，必须处理类别、坐标、重复预测和正负匹配。Faster R-CNN 用 proposal；DETR 用集合匹配。
- 分割：保持空间特征并恢复分辨率。FCN/U-Net 做语义分割；Mask R-CNN 在实例候选上预测独立掩码；SAM 用提示驱动 mask decoder。
- 姿态：可自顶向下先检测人再估关键点，也可自底向上先找全图关键点再组装。关键点置信与骨架结构影响后续动作模型。
- 跟踪：通常组合检测、外观表示、运动模型和数据关联；遮挡后重新识别与摄像机运动决定 ID 稳定。
主要方法分支
体育或视频系统怎样把检测、姿态和跟踪接起来？
从单帧感知到跨帧状态
每一步都可能产生误差并向后传递。动作识别或战术分析的失败，不应自动归因于最后的时序模型。
- 帧级检测/分割找到人、球、场地和可见区域
- 姿态与外观提取关键点、局部特征与置信度
- 数据关联结合运动与外观保持跨帧身份
- 轨迹与骨架序列形成可供动作、事件和状态模型使用的结构化输入
- 下游判断输出动作类别、质量、战术状态或规则化事件
视频帧先经检测分割，再估姿态和外观，随后数据关联形成轨迹，最终动作或比赛状态模块使用结构化序列。
- 两阶段 vs 一阶段/集合检测：候选精排、密集直接预测和 object-query 集合预测的速度—收敛—小目标取舍不同。
- 语义 vs 实例 vs 全景分割：分别回答像素类别、个体掩码，以及 stuff/thing 的统一场景解释。
- 自顶向下 vs 自底向上姿态：前者依赖人框，后者依赖关键点组装；拥挤场景错误形态不同。
- tracking-by-detection vs 联合跟踪：模块化系统易调试，联合系统可共享特征但训练和错误归因更难。
- 封闭类别 vs 开放词汇/提示式视觉：自然语言和交互提示扩展类别，但对齐和域外可靠性需要额外测试。
奠基论文导读
- AlexNet：分类表示的现代起点。
- Faster R-CNN：proposal、anchor、分类与 box 回归的两阶段检测。
- DETR：用集合预测理解现代检测的另一种接口。
- FCN：分类网络如何变成逐像素预测。
- U-Net：编码器—解码器与精细定位。
- Mask R-CNN：实例分割和 RoIAlign。
- SAM：提示式分割与数据引擎。
- ST-GCN：姿态关键点怎样进入时空动作表示。
- SportsMOT：体育场景中的多目标跟踪、遮挡与相似外观。
常见误区与局限
- 误区：检测框准，分割和姿态就准。 框只约束粗位置，内部边界与关键点可能仍错。
- 误区：跟踪就是逐帧检测。 跟踪还要处理 ID、遮挡、重现和时间一致。
- 误区：AP 是统一单位。 box AP、mask AP 与 keypoint AP 的匹配对象和误差定义不同。
- 误区：SAM 等通用模型无需领域标注。 提示接口可迁移，但医学、遥感、体育小目标等域仍需系统验证。
- 局限：标注定义可能含糊。 遮挡关键点、群体边界、反射/拖影小球和身份真值都需要协议。
- 局限：级联误差。 上游漏检无法由下游关联修复；评测应既测模块，也测端到端任务。
与研究专题的关系
- topics/sports-ai-video-understanding 研究怎样把检测、轨迹、姿态与比赛语义连接起来。
- topics/video-understanding 关注帧级输出怎样变成事件、关系与长时推理。
- topics/image-text-retrieval 与 topics/vision-language 把类别空间扩展到自然语言和开放词汇。
- topics/sports-ai-roadmap 用这些基础任务定义可执行 Demo 与止损条件。
推荐阅读顺序
- 用输出地图区分五个任务，并为每个任务写出最小真值格式。
- 对照 Faster R-CNN 与 DETR，理解 proposal/anchor 与集合预测。
- 对照 FCN、U-Net、Mask R-CNN 与 SAM，理解语义、实例和提示分割。
- 最后读 ST-GCN 与 SportsMOT，理解姿态/跟踪如何把空间问题扩展到时间。
证据基础
- 分类：sources/2026-07-14-alexnet。
- 检测：sources/2026-07-14-faster-r-cnn、sources/2026-06-29-detr。
- 分割：sources/2026-07-14-fcn、sources/2026-07-14-u-net、sources/2026-07-14-mask-r-cnn、sources/2026-06-29-segment-anything。
- 姿态与骨架：sources/2026-04-25-openpose、sources/2026-04-25-st-gcn。
- 跟踪：sources/2026-04-24-sportsmot。