计算机视觉概览与发展脉络

一句话定义

计算机视觉（computer vision）研究怎样让机器从图像、视频和几何/传感数据中提取可验证的信息，或依据条件生成新的视觉内容。

“看懂”不是一个单独任务。模型可能只输出整图类别，也可能输出物体框、像素掩码、人体关键点、跨帧轨迹、图文相似度、问题答案或生成图像；输出不同，所需数据、损失和证据也不同。

一张图看懂原理

初学者最有用的阅读问题不是“这是不是大模型”，而是：输入是什么、输出是什么、监督从哪里来、哪一层可学习、用什么证据证明有效。

前置概念与术语

• 像素（pixel）：数字图像的采样单元；像素值不是物体语义本身。
• 特征/表示（feature / representation）：模型从输入提取、可供下游任务使用的数值结构。
• 主干网络（backbone）：负责产生通用或可复用表示的主体网络。
• 任务头（task head）：把主干表示变成类别、框、掩码等具体输出。
• 监督学习（supervised learning）：利用人工或自动标签训练；标签质量决定可学目标。
• 自监督学习（self-supervised learning）：从数据自身构造训练任务，例如遮挡重建或跨模态配对。
• 预训练与微调（pre-training / fine-tuning）：先在大数据上学习表示，再适配具体任务。
• 归纳偏置（inductive bias）：架构对局部性、平移、层级或序列关系的先验偏好。
• 泛化（generalization）：模型在未见样本、场景、语言或设备上保持能力。
• 基准（benchmark）：数据、任务、划分、指标和提交协议的组合，不只是一个数据集名称。

历史演化

SIFT、HOG 等手工方法在历史上重要，但本 Wiki 只在解释“为什么端到端表示学习是转折”时保留它们，不建立传统特征主线。

核心机制

现代视觉系统通常反复使用四个机制：

1. 局部到全局的层级表示：卷积或局部窗口先组合边缘与纹理，再形成部件、对象和场景。
2. 压缩与选择：下采样、patch 化、注意力或状态更新在有限计算下保留任务相关信息。
3. 共享表示与任务适配：预训练主干提供通用特征，检测/分割/检索/生成头重新组织这些特征。
4. 由监督定义能力：分类标签教类别，框教定位，掩码教边界，图文对教语义对齐；模型不会自动学会未被数据或目标约束的能力。

AlexNet、ResNet 与 ViT 的差异说明：表示能力来自架构、数据、算力和优化共同作用，不能把时代变化简化为“某种算子取代另一种算子”。

主要方法分支

• 图像表示与主干：见 topics/vision-backbones。
• 分类、检测、分割、姿态与跟踪：见 topics/vision-task-foundations。
• 视频与时序表示：见 topics/video-representation-and-temporal-modeling。
• 图文对齐与视觉语言：见 topics/vision-language-foundations。
• 生成模型家族：见 topics/visual-generation-foundations 与 topics/diffusion-models。
• 数据与评测：见 topics/datasets-metrics-and-benchmark-reliability。

奠基论文导读

1. AlexNet：理解端到端深度表示为何在 ImageNet 上成为转折，同时记录数据和 GPU 的作用。
2. ResNet：理解残差连接怎样改变深网络优化，以及机制为何超越具体 CNN 家族。
3. Faster R-CNN：认识两阶段检测中的 proposal、分类、回归与共享特征。
4. FCN：从整图分类走向逐像素语义分割。
5. ViT：理解 patch token、全局自注意力和大数据预训练条件。
6. DETR：观察 Transformer 如何用 object query 与集合匹配重写检测接口。
7. CLIP：理解自然语言监督与双编码共享空间。
8. SAM：理解提示式分割、数据引擎和基础模型接口，也检查其域外边界。

常见误区与局限

• 误区：高分类准确率代表模型看懂一切。 分类不要求精确定位、计数、关系或时间推理。
• 误区：backbone 就是完整系统。 数据、预处理、任务头、损失、后处理和评测都可能决定结果。
• 误区：参数越大，研究结论越可靠。 若数据、预算和评测同时变化，无法知道增益来源。
• 误区：benchmark 高分等于真实部署。 域偏移、传感器、延迟、标注歧义和长尾失败可能完全不同。
• 局限：视觉不是被动读取事实。 像素存在遮挡、视角和采样损失；“真实标签”也可能依赖任务定义和人类判断。
• 局限：基础模型仍受数据覆盖约束。 罕见对象、专业图像、非英语文本、细粒度关系和时序证据都需要专门验证。

与研究专题的关系

基础概念页解释稳定框架；Research Topic 则回答近五年哪些路线成熟、哪里仍值得研究。建议从本页按需要进入 topics/image-generation、topics/image-text-retrieval、topics/video-understanding、topics/generative-model-evaluation 或 topics/sports-ai-roadmap，并在每个判断处回到 source note。

推荐阅读顺序

1. 先用“任务输出图”说清分类、检测、分割、姿态、跟踪、检索和生成的差别。
2. 读 AlexNet 与 ResNet，理解深度表示学习的起点。
3. 在 Faster R-CNN/FCN 与 DETR/SAM 之间比较任务接口变化。
4. 读 ViT 与 CLIP，理解 token 化、大规模预训练和跨模态对齐。
5. 最后进入数据评测页，检查每个能力结论的证据边界。

证据基础

• sources/2026-07-14-alexnet、sources/2026-07-14-resnet：深度视觉表示与优化转折。
• sources/2026-07-14-faster-r-cnn、sources/2026-07-14-fcn：检测与密集预测基础。
• sources/2026-06-29-vision-transformer、sources/2026-06-29-detr：视觉 token 与集合预测。
• sources/2026-06-29-clip、sources/2026-06-29-segment-anything：多模态监督与提示式视觉接口。

相关页面

• 图像表示与视觉主干网络
• 分类、检测、分割、姿态与跟踪
• 视频表示与时序建模
• 视觉语言与多模态表示基础
• 视觉生成模型基础
• 数据集、指标与基准可靠性