ArticleMetadataMain page

source · 2026-05-16

SkateFormer：面向人体动作识别的骨架-时间 Transformer

#near-cvpr-2025#video-understanding#representation-learning#primary-source

SkateFormer：面向人体动作识别的骨架-时间 Transformer

会议 / 来源：ECCV 2024；本地 primary 抓取使用 arXiv 页面与 PDF
发表日期：2024-03-14
资料加入日期：2026-05-16

一句话结论

SkateFormer 用 skeletal-temporal partition 把骨架关节和时间帧划成四类关系，再在每个分区内做 self-attention，从而在控制计算量的同时捕捉关键关节与关键帧之间的长程关系。

论文定位

BST 把 SkateFormer 作为 skeleton Transformer 系列的重要 baseline。它和 sources/2026-05-16-tempose-badminton-fine-grained-motion 共同说明：羽毛球 stroke-type classification 可以借用通用 SAR 里的时空注意力路线，但需要根据运动项目加入球路、场地位置和动作阶段。

方法概述

  • 问题定义：全关节、全帧 attention 计算和显存成本高；GCN 的 receptive field 又受骨架连接限制。
  • Skate-Type 分区：把关系拆成身体结构上相邻/远距，以及时间上邻近/远距的组合。
  • Skate-MSA：在每个 skeletal-temporal partition 内做注意力，让模型以更省算力的方式关注关键 joints 和 frames。
  • 实验结果：在多个 skeleton action recognition benchmark 上超过近期强方法。

对体育 AI 子线的价值

SkateFormer 给体育动作纠正提供了一个很实用的建模提示：很多运动错误来自“某些关节在某些时间点”的组合，而不是整段动作都错。对 topics/sports-ai-roadmap 中的羽毛球挥拍 demo，它可以作为动作阶段定位和关键帧选择的参考路线，和 sources/2026-05-12-trackmae 的轨迹重建目标形成互补。

局限或疑问

  • 通用 SAR benchmark 的动作类别和羽毛球 stroke-type 的细粒度标签差异很大，迁移时需要重新设计 label taxonomy。
  • partition-specific attention 解决计算问题，但教练可解释输出还需要把 attention / key frame 变成动作阶段和错误原因。
  • 纯骨架时空建模仍缺少球、拍、场线、击球瞬间等运动项目特有证据。

原始材料

  • raw/ingest/2026-05-16-skateformer-skeletal-temporal-transformer/paper.pdf
  • raw/ingest/2026-05-16-skateformer-skeletal-temporal-transformer/paper-text.md
  • raw/ingest/2026-05-16-skateformer-skeletal-temporal-transformer/abstract.md
  • raw/ingest/2026-05-16-skateformer-skeletal-temporal-transformer/links.yaml

相关页面

Metadata

{
  "id": "2026-05-16-skateformer-skeletal-temporal-transformer",
  "type": "source",
  "title": "SkateFormer：面向人体动作识别的骨架-时间 Transformer",
  "status": "reviewed",
  "created": "2026-05-16",
  "updated": "2026-05-16",
  "venue": "ECCV 2024",
  "published_at": "2024-03-14",
  "ingested_at": "2026-05-16",
  "tags": [
    "near-cvpr-2025",
    "video-understanding",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Jeonghyeok Do",
    "Munchurl Kim"
  ],
  "canonical_links": [
    "https://arxiv.org/abs/2403.09508",
    "https://arxiv.org/pdf/2403.09508",
    "https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/05796.pdf"
  ],
  "raw_entry": "raw/ingest/2026-05-16-skateformer-skeletal-temporal-transformer/",
  "topics": [
    "topics/sports-ai-video-understanding",
    "topics/sports-ai-roadmap",
    "topics/video-understanding"
  ],
  "entities": [
    "entities/sportsmot"
  ],
  "claims": [],
  "questions": []
}