Foundation
Computer Vision Overview
从输入、表示、任务输出和证据四层理解现代计算机视觉，并沿奠基论文进入主干、检测分割、视频、多模态与生成研究。
Learning path
- DefinitionClarify what it is
- MechanismFollow the information flow
- EvolutionLocate landmark papers
- ResearchContinue into active topics
Concept map
From intuition to research connections
一句话定义
计算机视觉（computer vision）研究怎样让机器从图像、视频和几何/传感数据中提取可验证的信息，或依据条件生成新的视觉内容。
“看懂”不是一个单独任务。模型可能只输出整图类别，也可能输出物体框、像素掩码、人体关键点、跨帧轨迹、图文相似度、问题答案或生成图像；输出不同，所需数据、损失和证据也不同。
一张图看懂原理
从像素输入到研究结论，中间必须经过哪些层？
主干把输入变成表示，任务头把表示变成特定输出，评测再判断输出是否真的满足任务。任何一层变化都可能改变结果。
- 输入与监督图像、视频、文本、关键点或轨迹，以及标签和数据划分
- 视觉表示CNN、Transformer 或其他主干把原始输入编码成特征
- 任务输出类别、框、掩码、姿态、轨迹、相似度、回答或生成内容
- 证据与反馈指标、人评、失败案例和域外测试决定结论是否成立
图像或视频经过采样与标注、视觉表示、任务头，最后由数据划分和指标进行验证。
初学者最有用的阅读问题不是“这是不是大模型”，而是：输入是什么、输出是什么、监督从哪里来、哪一层可学习、用什么证据证明有效。
前置概念与术语
- 像素（pixel）：数字图像的采样单元；像素值不是物体语义本身。
- 特征/表示（feature / representation）：模型从输入提取、可供下游任务使用的数值结构。
- 主干网络（backbone）：负责产生通用或可复用表示的主体网络。
- 任务头（task head）：把主干表示变成类别、框、掩码等具体输出。
- 监督学习（supervised learning）：利用人工或自动标签训练；标签质量决定可学目标。
- 自监督学习（self-supervised learning）：从数据自身构造训练任务，例如遮挡重建或跨模态配对。
- 预训练与微调（pre-training / fine-tuning）：先在大数据上学习表示，再适配具体任务。
- 归纳偏置（inductive bias）：架构对局部性、平移、层级或序列关系的先验偏好。
- 泛化（generalization）：模型在未见样本、场景、语言或设备上保持能力。
- 基准（benchmark）：数据、任务、划分、指标和提交协议的组合，不只是一个数据集名称。
历史演化
哪些工作改变了视觉问题的表示或接口？
传统手工特征只作为前史；时间线从端到端深度表示开始，依次进入可训练深度、密集任务、token 化、多模态自然语言监督和可提示基础模型。
- 2012 · 深度表示转折AlexNet 把 ImageNet、GPU 与深卷积训练接成胜出的分类系统
- 2015–2016 · 定位与深度FCN、Faster R-CNN、ResNet 建立密集预测、两阶段检测和残差学习
- 2020 · 视觉 token 与集合预测ViT 证明纯 Transformer 表示，DETR 把检测改写为集合输出
- 2021 · 图文对齐CLIP 用自然语言监督把分类、检索和跨模态表示接到共享空间
- 2022–2023 · 生成与提示接口扩散平台和 SAM 等模型把条件、提示与通用视觉能力工程化
- 当前 · 可靠系统研究数据来源、组合性、成本、域外泛化和可证伪评测成为能力边界
时间线列出 2012 AlexNet、2015 FCN/Faster R-CNN、2016 ResNet、2020 ViT/DETR、2021 CLIP、2023 SAM。
SIFT、HOG 等手工方法在历史上重要，但本 Wiki 只在解释“为什么端到端表示学习是转折”时保留它们，不建立传统特征主线。
核心机制
现代视觉系统通常反复使用四个机制：
- 局部到全局的层级表示：卷积或局部窗口先组合边缘与纹理，再形成部件、对象和场景。
- 压缩与选择：下采样、patch 化、注意力或状态更新在有限计算下保留任务相关信息。
- 共享表示与任务适配：预训练主干提供通用特征，检测/分割/检索/生成头重新组织这些特征。
- 由监督定义能力：分类标签教类别，框教定位，掩码教边界，图文对教语义对齐；模型不会自动学会未被数据或目标约束的能力。
AlexNet、ResNet 与 ViT 的差异说明：表示能力来自架构、数据、算力和优化共同作用，不能把时代变化简化为“某种算子取代另一种算子”。
主要方法分支
分类、检测、分割、姿态、跟踪、多模态和生成的边界在哪里？
任务可以共享主干，但输出结构和验证方式不同。把一个任务的高分外推为另一个任务的能力，是视觉研究中最常见的错误之一。
- 分类为整图或片段给一个或多个类别，重点是语义判别
- 检测与分割输出物体位置、像素类别或实例掩码，重点是空间对应
- 姿态与跟踪输出关键点和跨帧身份，重点是结构与时间一致
- 视频理解从片段、事件和长时间上下文中判断动作、状态与因果
- 视觉语言把视觉与文本对齐、融合或生成，重点是跨模态语义与组合
- 视觉生成从噪声、token 或条件产生图像/视频，重点是分布、控制与可靠评测
方法地图从整图标签扩展到物体框、像素掩码、关键点、跨帧轨迹、图文表示与生成内容。
- 图像表示与主干：见 topics/vision-backbones。
- 分类、检测、分割、姿态与跟踪：见 topics/vision-task-foundations。
- 视频与时序表示：见 topics/video-representation-and-temporal-modeling。
- 图文对齐与视觉语言：见 topics/vision-language-foundations。
- 生成模型家族：见 topics/visual-generation-foundations 与 topics/diffusion-models。
- 数据与评测：见 topics/datasets-metrics-and-benchmark-reliability。
奠基论文导读
- AlexNet：理解端到端深度表示为何在 ImageNet 上成为转折，同时记录数据和 GPU 的作用。
- ResNet：理解残差连接怎样改变深网络优化，以及机制为何超越具体 CNN 家族。
- Faster R-CNN：认识两阶段检测中的 proposal、分类、回归与共享特征。
- FCN：从整图分类走向逐像素语义分割。
- ViT：理解 patch token、全局自注意力和大数据预训练条件。
- DETR：观察 Transformer 如何用 object query 与集合匹配重写检测接口。
- CLIP：理解自然语言监督与双编码共享空间。
- SAM：理解提示式分割、数据引擎和基础模型接口，也检查其域外边界。
常见误区与局限
- 误区：高分类准确率代表模型看懂一切。 分类不要求精确定位、计数、关系或时间推理。
- 误区：backbone 就是完整系统。 数据、预处理、任务头、损失、后处理和评测都可能决定结果。
- 误区：参数越大，研究结论越可靠。 若数据、预算和评测同时变化，无法知道增益来源。
- 误区：benchmark 高分等于真实部署。 域偏移、传感器、延迟、标注歧义和长尾失败可能完全不同。
- 局限：视觉不是被动读取事实。 像素存在遮挡、视角和采样损失；“真实标签”也可能依赖任务定义和人类判断。
- 局限：基础模型仍受数据覆盖约束。 罕见对象、专业图像、非英语文本、细粒度关系和时序证据都需要专门验证。
与研究专题的关系
基础概念页解释稳定框架；Research Topic 则回答近五年哪些路线成熟、哪里仍值得研究。建议从本页按需要进入 topics/image-generation、topics/image-text-retrieval、topics/video-understanding、topics/generative-model-evaluation 或 topics/sports-ai-roadmap，并在每个判断处回到 source note。
推荐阅读顺序
- 先用“任务输出图”说清分类、检测、分割、姿态、跟踪、检索和生成的差别。
- 读 AlexNet 与 ResNet，理解深度表示学习的起点。
- 在 Faster R-CNN/FCN 与 DETR/SAM 之间比较任务接口变化。
- 读 ViT 与 CLIP，理解 token 化、大规模预训练和跨模态对齐。
- 最后进入数据评测页，检查每个能力结论的证据边界。
证据基础
- sources/2026-07-14-alexnet、sources/2026-07-14-resnet：深度视觉表示与优化转折。
- sources/2026-07-14-faster-r-cnn、sources/2026-07-14-fcn：检测与密集预测基础。
- sources/2026-06-29-vision-transformer、sources/2026-06-29-detr：视觉 token 与集合预测。
- sources/2026-06-29-clip、sources/2026-06-29-segment-anything：多模态监督与提示式视觉接口。