LLLMWIKI
ArticleMetadataMain page

Topic · Updated 2026-07-14

Video Representation and Temporal Modeling

从帧采样、显式运动、3D 卷积、视频 Transformer、掩码预训练、骨架图和状态空间模型理解视频中“时间证据”如何进入表示。

#near-cvpr-2025#video-representation#video-understanding#representation-learning

Foundation

Video Representation and Temporal Modeling

从帧采样、显式运动、3D 卷积、视频 Transformer、掩码预训练、骨架图和状态空间模型理解视频中“时间证据”如何进入表示。

9 Source notes2 Open questions

Learning path

  1. DefinitionClarify what it is
  2. MechanismFollow the information flow
  3. EvolutionLocate landmark papers
  4. ResearchContinue into active topics

Concept map

From intuition to research connections

9 Source notes
1DefinitionClarify what it is
2MechanismFollow the information flow
3EvolutionLocate landmark papers
4ResearchContinue into active topics

一句话定义

视频表示（video representation）把连续帧中的外观、运动、对象身份和事件顺序编码为可供分类、定位、问答、跟踪或生成使用的特征；时序建模则决定模型怎样跨时间聚合与保存证据。

把多张图输入模型不等于理解时间。采样频率、帧顺序、运动线索、时间覆盖和任务监督共同决定模型是否真的利用了视频信息。

一张图看懂原理

时序信息在哪些环节可能被丢失？

视频证据从连续世界进入模型的路径

摄像机先离散采样，模型再选帧/clip、编码空间与运动，最后聚合到任务输出。稀疏采样无法恢复未被拍到或未被选中的瞬间。

  1. 连续事件真实动作、对象交互、摄像机运动和不可见状态
  2. 帧与 clip 采样帧率、跨度、裁剪与视角决定可见证据
  3. 空间/运动编码RGB、光流、3D 卷积、token、骨架或轨迹
  4. 时间聚合与记忆局部卷积、注意力、图传播、池化或状态更新
  5. 任务输出动作分类、事件定位、问答、跟踪、质量评分或生成控制
Diagram evidenceTwo-Stream、I3D、TimeSformer

连续事件经摄像机采样为帧，经过 clip 选择、空间运动编码、时间聚合，形成动作、事件、轨迹或回答。

前置概念与术语

  • 帧率（frame rate）：每秒采样帧数；高帧率帮助快速运动，也增加计算。
  • clip：从长视频截取的有限帧片段；clip 长度和采样步长共同决定时间覆盖。
  • 光流（optical flow）：估计相邻帧像素位移的运动表示，不等同于真实三维速度。
  • 3D 卷积（3D convolution）：在空间与时间维同时滑动的局部滤波。
  • 时间感受野（temporal receptive field）：一个输出能受多长时间范围影响。
  • 时间位置编码（temporal positional encoding）：告诉 token 帧序与相对/绝对时间。
  • tubelet / cube token：把连续帧中的小空间块合并成时空 token。
  • 骨架序列（skeleton sequence）：人体关键点随时间变化的结构化表示。
  • 轨迹（trajectory）：对象位置/状态跨时间的序列，依赖检测与关联。
  • 长视频理解（long-video understanding）：需要跨多个事件、片段或分钟级上下文检索与推理，不等同于增加输入帧数。

历史演化

模型获取时间信息的方式怎样变化？

视频表示从显式运动到自监督与长序列

关键变化是从外部计算光流，到网络直接学习局部时空，再到 token 化、自监督重建和结构化/高效序列模型。

  1. 2014 · 显式运动双流RGB 描述外观，预计算光流描述短时运动
  2. 2017 · 3D 卷积与大数据I3D 把图像滤波器膨胀到时间，并用 Kinetics 预训练
  3. 2018 · 结构化骨架ST-GCN 在关节拓扑与时间边上学习动作
  4. 2021 · 时空 tokenTimeSformer 用分解注意力处理空间与时间关系
  5. 2022 · 高遮挡自监督VideoMAE 用 tube masking 从无标签视频学习表示
  6. 当前 · 轨迹与高效长序列TrackMAE、Mamba/SSM 和记忆模块面向对象级与长时上下文
Diagram evidenceTwo-Stream、I3D、ST-GCN、TimeSformer、VideoMAE

2014 双流 RGB 光流，2017 I3D 与 Kinetics，2018 ST-GCN，2021 TimeSformer，2022 VideoMAE，随后轨迹和状态空间模型发展。

核心机制

  • 显式运动：Two-Stream 把光流作为输入；优点是直接运动线索，缺点是外部成本和误差。
  • 局部时空卷积：I3D 在短窗口内联合学习空间和时间；感受野随深度扩展，计算较高。
  • 时空注意力：TimeSformer 将空间和时间注意力分解以控制 token 成本；全局连接仍受采样长度限制。
  • 掩码视频预训练：VideoMAE 高比例遮挡时空 tube，迫使模型利用冗余和动态；“数据高效”不等于低计算。
  • 骨架/轨迹表示：ST-GCN 与 TrackMAE 放弃部分像素，突出人体拓扑或对象运动；性能受上游检测、姿态和 ID 质量限制。
  • 状态空间与记忆：SSM/Mamba 用状态递推处理长序列；线性复杂度不保证语义记忆或硬件速度。

主要方法分支

为什么同一个动作在不同表示下会变成不同问题？

六种视频表示分别保留什么、丢失什么

像素保留外观但昂贵，光流突出局部运动，骨架和轨迹压缩结构但依赖前端。选择表示就是选择可见证据和错误来源。

  1. RGB 帧保留纹理、对象与场景，容易依赖静态捷径
  2. 光流/帧差突出短时位移，受估计误差与摄像机运动影响
  3. 3D 时空特征局部联合建模外观运动，计算随 clip 增长
  4. 视频 token适合大规模预训练与全局交互，注意力受 token 数约束
  5. 骨架图压缩人体运动并显式关节拓扑，丢失球、器械与场地信息
  6. 轨迹/状态适合长时对象关系，依赖检测、关联和坐标校准
Diagram evidenceTwo-Stream、VideoMAE、ST-GCN、TrackMAE

方法地图比较 RGB 帧、光流、3D 特征、视频 token、骨架图和对象轨迹/状态。

奠基论文导读

  1. Two-Stream ConvNets：外观—运动分解与光流代价。
  2. I3D：2D 到 3D 膨胀、Kinetics 预训练和数据规模。
  3. ViT：视频 token 化之前的图像 Transformer 基础。
  4. TimeSformer：分解时空注意力与真实时间覆盖。
  5. VideoMAE：tube masking 与无标签视频预训练。
  6. ST-GCN：骨架的时空图表示。
  7. TrackMAE：对象轨迹的掩码预训练。
  8. SportMamba：高效状态空间/注意力混合在体育跟踪中的应用边界。

常见误区与局限

  • 误区：更多帧就是更长理解。 若帧来自短时间或最终只做平均，模型仍可能没有事件级记忆。
  • 误区：去掉光流就代表模型学会运动。 必须用顺序打乱、静态帧、反向播放等诊断验证时间依赖。
  • 误区：视频分类高分代表因果推理。 场景和对象静态捷径可能足以猜动作。
  • 误区：骨架天然稳健。 遮挡、快速运动、视角和姿态前端错误会系统传递。
  • 局限：采样决定上限。 快速击球若未被选帧捕获，后端模型无法重建真实证据。
  • 局限：计算与数据耦合。 长 clip、高清输入和多视角迅速增加 token；报告必须包含时间覆盖、采样和真实成本。

与研究专题的关系

推荐阅读顺序

  1. 先做 RGB 单帧、顺序打乱和光流三组概念实验，理解时间证据。
  2. 读 Two-Stream 与 I3D，掌握显式运动和 3D 局部建模。
  3. 读 TimeSformer 与 VideoMAE，比较主干和预训练目标。
  4. 根据应用读 ST-GCN/TrackMAE/SportMamba，并追踪上游误差。

证据基础

相关页面

Metadata
{
  "id": "topic-video-representation-and-temporal-modeling",
  "type": "topic",
  "topic_kind": "concept",
  "title": "视频表示、运动信息与时序建模",
  "title_en": "Video Representation and Temporal Modeling",
  "nav_title": "视频表示基础",
  "status": "active",
  "created": "2026-07-14",
  "updated": "2026-07-14",
  "tags": [
    "near-cvpr-2025",
    "video-representation",
    "video-understanding",
    "representation-learning"
  ],
  "summary": "从帧采样、显式运动、3D 卷积、视频 Transformer、掩码预训练、骨架图和状态空间模型理解视频中“时间证据”如何进入表示。",
  "source_notes": [
    "sources/2026-07-14-two-stream-convnet",
    "sources/2026-07-14-i3d",
    "sources/2026-04-25-timesformer",
    "sources/2026-04-25-videomae",
    "sources/2026-04-25-st-gcn",
    "sources/2026-06-29-vision-transformer",
    "sources/2026-04-23-sportmamba",
    "sources/2026-05-12-trackmae",
    "sources/2026-05-16-tempose-badminton-fine-grained-motion"
  ],
  "foundational_sources": [
    "sources/2026-07-14-two-stream-convnet",
    "sources/2026-07-14-i3d",
    "sources/2026-04-25-timesformer",
    "sources/2026-04-25-videomae",
    "sources/2026-04-25-st-gcn",
    "sources/2026-06-29-vision-transformer",
    "sources/2026-04-23-sportmamba",
    "sources/2026-05-12-trackmae"
  ],
  "visuals": [
    "video-evidence-flow",
    "video-history",
    "video-representation-map"
  ],
  "related_topics": [
    "topics/computer-vision-overview",
    "topics/vision-backbones",
    "topics/video-understanding",
    "topics/video-generation",
    "topics/video-editing",
    "topics/sports-ai-video-understanding"
  ],
  "related_entities": [],
  "open_questions": [
    "questions/question-do-benchmarks-track-real-video-editing-understanding",
    "questions/question-badminton-stroke-correction-demo"
  ]
}