LLLMWIKI
正文元数据首页

主题 · 更新于 2026-07-14

视频表示、运动信息与时序建模

从帧采样、显式运动、3D 卷积、视频 Transformer、掩码预训练、骨架图和状态空间模型理解视频中“时间证据”如何进入表示。

#near-cvpr-2025#video-representation#video-understanding#representation-learning

基础概念

视频表示、运动信息与时序建模

从帧采样、显式运动、3D 卷积、视频 Transformer、掩码预训练、骨架图和状态空间模型理解视频中“时间证据”如何进入表示。

9 来源笔记2 开放问题

学习路径

  1. 定义先说清它是什么
  2. 机制理解信息怎样流动
  3. 演化定位关键论文节点
  4. 研究连接进入仍在发展的专题

概念学习地图

从直觉理解走向研究连接

9 来源笔记
1定义先说清它是什么
2机制理解信息怎样流动
3演化定位关键论文节点
4研究连接进入仍在发展的专题

一句话定义

视频表示（video representation）把连续帧中的外观、运动、对象身份和事件顺序编码为可供分类、定位、问答、跟踪或生成使用的特征；时序建模则决定模型怎样跨时间聚合与保存证据。

把多张图输入模型不等于理解时间。采样频率、帧顺序、运动线索、时间覆盖和任务监督共同决定模型是否真的利用了视频信息。

一张图看懂原理

时序信息在哪些环节可能被丢失？

视频证据从连续世界进入模型的路径

摄像机先离散采样，模型再选帧/clip、编码空间与运动，最后聚合到任务输出。稀疏采样无法恢复未被拍到或未被选中的瞬间。

  1. 连续事件真实动作、对象交互、摄像机运动和不可见状态
  2. 帧与 clip 采样帧率、跨度、裁剪与视角决定可见证据
  3. 空间/运动编码RGB、光流、3D 卷积、token、骨架或轨迹
  4. 时间聚合与记忆局部卷积、注意力、图传播、池化或状态更新
  5. 任务输出动作分类、事件定位、问答、跟踪、质量评分或生成控制
图示依据Two-Stream、I3D、TimeSformer

连续事件经摄像机采样为帧，经过 clip 选择、空间运动编码、时间聚合，形成动作、事件、轨迹或回答。

前置概念与术语

  • 帧率（frame rate）：每秒采样帧数；高帧率帮助快速运动，也增加计算。
  • clip：从长视频截取的有限帧片段；clip 长度和采样步长共同决定时间覆盖。
  • 光流（optical flow）：估计相邻帧像素位移的运动表示，不等同于真实三维速度。
  • 3D 卷积（3D convolution）：在空间与时间维同时滑动的局部滤波。
  • 时间感受野（temporal receptive field）：一个输出能受多长时间范围影响。
  • 时间位置编码（temporal positional encoding）：告诉 token 帧序与相对/绝对时间。
  • tubelet / cube token：把连续帧中的小空间块合并成时空 token。
  • 骨架序列（skeleton sequence）：人体关键点随时间变化的结构化表示。
  • 轨迹（trajectory）：对象位置/状态跨时间的序列，依赖检测与关联。
  • 长视频理解（long-video understanding）：需要跨多个事件、片段或分钟级上下文检索与推理，不等同于增加输入帧数。

历史演化

模型获取时间信息的方式怎样变化？

视频表示从显式运动到自监督与长序列

关键变化是从外部计算光流，到网络直接学习局部时空，再到 token 化、自监督重建和结构化/高效序列模型。

  1. 2014 · 显式运动双流RGB 描述外观，预计算光流描述短时运动
  2. 2017 · 3D 卷积与大数据I3D 把图像滤波器膨胀到时间，并用 Kinetics 预训练
  3. 2018 · 结构化骨架ST-GCN 在关节拓扑与时间边上学习动作
  4. 2021 · 时空 tokenTimeSformer 用分解注意力处理空间与时间关系
  5. 2022 · 高遮挡自监督VideoMAE 用 tube masking 从无标签视频学习表示
  6. 当前 · 轨迹与高效长序列TrackMAE、Mamba/SSM 和记忆模块面向对象级与长时上下文
图示依据Two-Stream、I3D、ST-GCN、TimeSformer、VideoMAE

2014 双流 RGB 光流，2017 I3D 与 Kinetics，2018 ST-GCN，2021 TimeSformer，2022 VideoMAE，随后轨迹和状态空间模型发展。

核心机制

  • 显式运动：Two-Stream 把光流作为输入；优点是直接运动线索，缺点是外部成本和误差。
  • 局部时空卷积：I3D 在短窗口内联合学习空间和时间；感受野随深度扩展，计算较高。
  • 时空注意力：TimeSformer 将空间和时间注意力分解以控制 token 成本；全局连接仍受采样长度限制。
  • 掩码视频预训练：VideoMAE 高比例遮挡时空 tube，迫使模型利用冗余和动态；“数据高效”不等于低计算。
  • 骨架/轨迹表示：ST-GCN 与 TrackMAE 放弃部分像素，突出人体拓扑或对象运动；性能受上游检测、姿态和 ID 质量限制。
  • 状态空间与记忆：SSM/Mamba 用状态递推处理长序列；线性复杂度不保证语义记忆或硬件速度。

主要方法分支

为什么同一个动作在不同表示下会变成不同问题？

六种视频表示分别保留什么、丢失什么

像素保留外观但昂贵，光流突出局部运动，骨架和轨迹压缩结构但依赖前端。选择表示就是选择可见证据和错误来源。

  1. RGB 帧保留纹理、对象与场景，容易依赖静态捷径
  2. 光流/帧差突出短时位移，受估计误差与摄像机运动影响
  3. 3D 时空特征局部联合建模外观运动，计算随 clip 增长
  4. 视频 token适合大规模预训练与全局交互，注意力受 token 数约束
  5. 骨架图压缩人体运动并显式关节拓扑，丢失球、器械与场地信息
  6. 轨迹/状态适合长时对象关系，依赖检测、关联和坐标校准
图示依据Two-Stream、VideoMAE、ST-GCN、TrackMAE

方法地图比较 RGB 帧、光流、3D 特征、视频 token、骨架图和对象轨迹/状态。

奠基论文导读

  1. Two-Stream ConvNets：外观—运动分解与光流代价。
  2. I3D：2D 到 3D 膨胀、Kinetics 预训练和数据规模。
  3. ViT：视频 token 化之前的图像 Transformer 基础。
  4. TimeSformer：分解时空注意力与真实时间覆盖。
  5. VideoMAE：tube masking 与无标签视频预训练。
  6. ST-GCN：骨架的时空图表示。
  7. TrackMAE：对象轨迹的掩码预训练。
  8. SportMamba：高效状态空间/注意力混合在体育跟踪中的应用边界。

常见误区与局限

  • 误区：更多帧就是更长理解。 若帧来自短时间或最终只做平均，模型仍可能没有事件级记忆。
  • 误区：去掉光流就代表模型学会运动。 必须用顺序打乱、静态帧、反向播放等诊断验证时间依赖。
  • 误区：视频分类高分代表因果推理。 场景和对象静态捷径可能足以猜动作。
  • 误区：骨架天然稳健。 遮挡、快速运动、视角和姿态前端错误会系统传递。
  • 局限：采样决定上限。 快速击球若未被选帧捕获，后端模型无法重建真实证据。
  • 局限：计算与数据耦合。 长 clip、高清输入和多视角迅速增加 token；报告必须包含时间覆盖、采样和真实成本。

与研究专题的关系

推荐阅读顺序

  1. 先做 RGB 单帧、顺序打乱和光流三组概念实验，理解时间证据。
  2. 读 Two-Stream 与 I3D，掌握显式运动和 3D 局部建模。
  3. 读 TimeSformer 与 VideoMAE，比较主干和预训练目标。
  4. 根据应用读 ST-GCN/TrackMAE/SportMamba，并追踪上游误差。

证据基础

相关页面

元数据
{
  "id": "topic-video-representation-and-temporal-modeling",
  "type": "topic",
  "topic_kind": "concept",
  "title": "视频表示、运动信息与时序建模",
  "title_en": "Video Representation and Temporal Modeling",
  "nav_title": "视频表示基础",
  "status": "active",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "video-representation",
    "video-understanding",
    "representation-learning"
  ],
  "summary": "从帧采样、显式运动、3D 卷积、视频 Transformer、掩码预训练、骨架图和状态空间模型理解视频中“时间证据”如何进入表示。",
  "source_notes": [
    "sources/2026-07-14-two-stream-convnet",
    "sources/2026-07-14-i3d",
    "sources/2026-04-25-timesformer",
    "sources/2026-04-25-videomae",
    "sources/2026-04-25-st-gcn",
    "sources/2026-06-29-vision-transformer",
    "sources/2026-04-23-sportmamba",
    "sources/2026-05-12-trackmae",
    "sources/2026-05-16-tempose-badminton-fine-grained-motion"
  ],
  "foundational_sources": [
    "sources/2026-07-14-two-stream-convnet",
    "sources/2026-07-14-i3d",
    "sources/2026-04-25-timesformer",
    "sources/2026-04-25-videomae",
    "sources/2026-04-25-st-gcn",
    "sources/2026-06-29-vision-transformer",
    "sources/2026-04-23-sportmamba",
    "sources/2026-05-12-trackmae"
  ],
  "visuals": [
    "video-evidence-flow",
    "video-history",
    "video-representation-map"
  ],
  "related_topics": [
    "topics/computer-vision-overview",
    "topics/vision-backbones",
    "topics/video-understanding",
    "topics/video-generation",
    "topics/video-editing",
    "topics/sports-ai-video-understanding"
  ],
  "related_entities": [],
  "open_questions": [
    "questions/question-do-benchmarks-track-real-video-editing-understanding",
    "questions/question-badminton-stroke-correction-demo"
  ]
}