LLLMWIKI
正文元数据首页

来源笔记 · 更新于 2026-06-29

Vision Transformer把图像切成 token 的通用视觉主干

#near-cvpr-2025#vision#representation-learning#primary-source

一句话结论

ViT 把图像切成固定大小 patch token，并用标准 Transformer encoder 做视觉表征，证明在大规模预训练下纯 Transformer 可以成为 CNN 之外的通用视觉主干。

论文定位

它是 topics/vision-backbones 里的 Transformer 主干 canonical anchor：后续读 sources/2026-04-25-timesformer、sources/2026-04-25-videomae 和 sources/2026-04-15-scalable-diffusion-models-with-transformers 时，可以把它看成视觉 token 化和 scaling 叙事的基础层。

问题定义

当时视觉 Transformer 多数还依附在 CNN 结构上，问题是：视觉是否必须依靠卷积归纳偏置，还是可以像语言模型一样把输入离散成 token 后直接交给 Transformer。

方法概述

  • 把图像切成 16×16 patch，线性投影成 token，并加入 position embedding。
  • 使用 class token 与标准 Transformer encoder 做分类预训练。
  • 在大规模数据上预训练，再迁移到多个中小型下游数据集。

关键发现

  • ViT 的核心结论是：纯 Transformer 在足够大数据预训练下可以达到或超过强 CNN baseline。
  • 它把视觉任务从局部卷积特征工程推进到 token 化全局建模，为 TimeSformer、VideoMAE、CLIP image encoder、SAM image encoder 和 DiT 类路线提供了共同语言。
  • 数据规模是关键条件：较少数据下，弱归纳偏置会让 ViT 更难训练。

对当前 wiki 判断的影响

  • 本轮把 backbone canonical backfill 从待办推进到第一批 primary-source 锚点。
  • ViT 让 topics/vision-backbones 的 Transformer 行有了原始分类锚点，也让 DiT / video Transformer / multimodal encoder 的共同底层更清楚。

局限或疑问

  • ViT 的原始形式主要验证 image classification，dense prediction、检测、分割和视频任务需要额外结构或后续变体。
  • 高分辨率和长视频会放大 token 数，对 attention 计算和显存提出压力。

原始材料

  • raw/ingest/2026-06-29-vision-transformer/paper.pdf
  • raw/ingest/2026-06-29-vision-transformer/paper-text.md
  • raw/ingest/2026-06-29-vision-transformer/abstract.md
  • raw/ingest/2026-06-29-vision-transformer/analysis.md
  • raw/ingest/2026-06-29-vision-transformer/links.yaml

原始链接

  • arXiv abstract：https://arxiv.org/abs/2010.11929
  • PDF：https://arxiv.org/pdf/2010.11929
  • Google Research vision_transformer repo：https://github.com/google-research/vision_transformer

相关页面

元数据
{
  "id": "2026-06-29-vision-transformer",
  "type": "source",
  "title": "Vision Transformer：把图像切成 token 的通用视觉主干",
  "status": "reviewed",
  "created": "2026-06-29",
  "updated": "2026-06-29",
  "venue": "ICLR 2021 / arXiv",
  "published_at": "2020-10-22",
  "ingested_at": "2026-06-29",
  "tags": [
    "near-cvpr-2025",
    "vision",
    "representation-learning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Alexey Dosovitskiy",
    "Lucas Beyer",
    "Alexander Kolesnikov",
    "Dirk Weissenborn",
    "Xiaohua Zhai",
    "Thomas Unterthiner",
    "Mostafa Dehghani",
    "Matthias Minderer",
    "Georg Heigold",
    "Sylvain Gelly",
    "Jakob Uszkoreit",
    "Neil Houlsby"
  ],
  "canonical_links": [
    "https://arxiv.org/abs/2010.11929",
    "https://arxiv.org/pdf/2010.11929",
    "https://github.com/google-research/vision_transformer"
  ],
  "raw_entry": "raw/ingest/2026-06-29-vision-transformer/",
  "topics": [
    "topics/vision-backbones",
    "topics/video-understanding"
  ],
  "entities": [],
  "claims": [],
  "questions": []
}