分类、检测、分割、姿态与跟踪

一句话定义

核心视觉任务的差别首先在输出：分类给整图标签，检测给物体类别与框，分割给像素标签或实例掩码，姿态给结构化关键点，跟踪则在连续帧中维持对象身份与轨迹。

它们可以共享同一个主干，但不能用同一指标互相替代；检测准确不保证姿态正确，单帧分割也不保证跨帧身份稳定。

一张图看懂原理

前置概念与术语

• 类别（class）：任务预先定义的语义集合；开放世界中类别可能不完整。
• 边界框（bounding box）：通常用中心/宽高或角点描述物体矩形范围。
• 交并比（Intersection over Union, IoU）：预测与真值区域重叠面积除以并集面积。
• 平均精度（Average Precision, AP）：在置信阈值变化下综合 precision-recall；检测、mask 和 keypoint AP 的匹配定义不同。
• 语义分割（semantic segmentation）：同类像素共享类别，不区分个体。
• 实例分割（instance segmentation）：同类不同对象需要独立掩码。
• 关键点（keypoint）：关节或结构位置，常带可见性/置信度。
• 数据关联（data association）：判断跨帧观测属于哪个已有轨迹。
• 身份切换（ID switch）：跟踪器把一个真实对象错误换到另一 ID。
• 遮挡（occlusion）：对象部分或完全不可见，是姿态与跟踪的核心困难。

历史演化

核心机制

1. 分类：主干汇聚空间特征，分类头输出类别概率；训练常用交叉熵，评测 top-k 或多标签指标。
2. 检测：预测一组带位置的对象，必须处理类别、坐标、重复预测和正负匹配。Faster R-CNN 用 proposal；DETR 用集合匹配。
3. 分割：保持空间特征并恢复分辨率。FCN/U-Net 做语义分割；Mask R-CNN 在实例候选上预测独立掩码；SAM 用提示驱动 mask decoder。
4. 姿态：可自顶向下先检测人再估关键点，也可自底向上先找全图关键点再组装。关键点置信与骨架结构影响后续动作模型。
5. 跟踪：通常组合检测、外观表示、运动模型和数据关联；遮挡后重新识别与摄像机运动决定 ID 稳定。

主要方法分支

• 两阶段 vs 一阶段/集合检测：候选精排、密集直接预测和 object-query 集合预测的速度—收敛—小目标取舍不同。
• 语义 vs 实例 vs 全景分割：分别回答像素类别、个体掩码，以及 stuff/thing 的统一场景解释。
• 自顶向下 vs 自底向上姿态：前者依赖人框，后者依赖关键点组装；拥挤场景错误形态不同。
• tracking-by-detection vs 联合跟踪：模块化系统易调试，联合系统可共享特征但训练和错误归因更难。
• 封闭类别 vs 开放词汇/提示式视觉：自然语言和交互提示扩展类别，但对齐和域外可靠性需要额外测试。

奠基论文导读

1. AlexNet：分类表示的现代起点。
2. Faster R-CNN：proposal、anchor、分类与 box 回归的两阶段检测。
3. DETR：用集合预测理解现代检测的另一种接口。
4. FCN：分类网络如何变成逐像素预测。
5. U-Net：编码器—解码器与精细定位。
6. Mask R-CNN：实例分割和 RoIAlign。
7. SAM：提示式分割与数据引擎。
8. ST-GCN：姿态关键点怎样进入时空动作表示。
9. SportsMOT：体育场景中的多目标跟踪、遮挡与相似外观。

常见误区与局限

• 误区：检测框准，分割和姿态就准。 框只约束粗位置，内部边界与关键点可能仍错。
• 误区：跟踪就是逐帧检测。 跟踪还要处理 ID、遮挡、重现和时间一致。
• 误区：AP 是统一单位。 box AP、mask AP 与 keypoint AP 的匹配对象和误差定义不同。
• 误区：SAM 等通用模型无需领域标注。 提示接口可迁移，但医学、遥感、体育小目标等域仍需系统验证。
• 局限：标注定义可能含糊。 遮挡关键点、群体边界、反射/拖影小球和身份真值都需要协议。
• 局限：级联误差。 上游漏检无法由下游关联修复；评测应既测模块，也测端到端任务。

与研究专题的关系

• topics/sports-ai-video-understanding 研究怎样把检测、轨迹、姿态与比赛语义连接起来。
• topics/video-understanding 关注帧级输出怎样变成事件、关系与长时推理。
• topics/image-text-retrieval 与 topics/vision-language 把类别空间扩展到自然语言和开放词汇。
• topics/sports-ai-roadmap 用这些基础任务定义可执行 Demo 与止损条件。

推荐阅读顺序

1. 用输出地图区分五个任务，并为每个任务写出最小真值格式。
2. 对照 Faster R-CNN 与 DETR，理解 proposal/anchor 与集合预测。
3. 对照 FCN、U-Net、Mask R-CNN 与 SAM，理解语义、实例和提示分割。
4. 最后读 ST-GCN 与 SportsMOT，理解姿态/跟踪如何把空间问题扩展到时间。

证据基础

• 分类：sources/2026-07-14-alexnet。
• 检测：sources/2026-07-14-faster-r-cnn、sources/2026-06-29-detr。
• 分割：sources/2026-07-14-fcn、sources/2026-07-14-u-net、sources/2026-07-14-mask-r-cnn、sources/2026-06-29-segment-anything。
• 姿态与骨架：sources/2026-04-25-openpose、sources/2026-04-25-st-gcn。
• 跟踪：sources/2026-04-24-sportsmot。

相关页面

• 计算机视觉概览
• 图像表示与视觉主干网络
• 视频表示与时序建模
• 体育 AI 视频理解
• 体育 AI 应用与研究路线