Foundation
Foundations of Visual Generative Models
比较 VAE、GAN、自回归、规范化流和扩散模型怎样表示图像分布、训练与采样，以及质量、覆盖、似然、可控性和成本的基本取舍。
Learning path
- DefinitionClarify what it is
- MechanismFollow the information flow
- EvolutionLocate landmark papers
- ResearchContinue into active topics
Concept map
From intuition to research connections
1DefinitionClarify what it is
2MechanismFollow the information flow
3EvolutionLocate landmark papers
4ResearchContinue into active topics
一句话定义
视觉生成模型（visual generative model）学习训练数据的概率结构或可采样近似，使系统能够产生新图像/视频、重建输入、编辑内容或在条件约束下生成样本。
不同家族并不是同一算法的换名：VAE 优化变分下界，GAN 用对抗判别，自回归逐项条件分解，规范化流要求可逆变换，扩散/分数模型学习逆噪声方向。它们的似然、采样速度、覆盖与控制接口因此不同。
一张图看懂原理
各方法家族的核心学习对象是什么？
五类生成模型怎样从简单随机变量得到图像
图中只描述最小机制。现代系统可以混合家族，例如用 VAE 压缩图像、在 latent 中训练扩散，再用对抗损失改善解码器。
- VAE编码近似后验、采样潜变量、解码数据，并优化似然下界
- GAN生成器与判别器对抗，隐式逼近数据分布
- 自回归把图像或 token 概率分解为按顺序的条件预测
- 规范化流用可逆变换和 Jacobian 在数据与简单先验间双向映射
- 扩散/分数规定前向加噪，学习反向去噪或分数场
VAE 学潜变量后验与解码，GAN 学生成器欺骗判别器，自回归逐 token 预测，规范化流学习可逆映射，扩散学习从噪声回到数据的方向。
前置概念与术语
- 生成分布（generative distribution）：模型给样本分配概率或定义采样过程。
- 潜变量（latent variable）：不可直接观测、用于解释数据变化的隐藏变量。
- 似然（likelihood）：模型对已观测数据赋予的概率密度/质量；不同离散化与单位不可随意比较。
- 显式与隐式密度（explicit / implicit density）：能否计算规范化概率，不等同于能否生成高质量样本。
- 变分下界（evidence lower bound, ELBO）：对不可解对数似然的可优化下界。
- 模式坍塌（mode collapse）：生成器只覆盖数据分布的一部分模式。
- 教师强制（teacher forcing）：自回归训练时使用真实历史，推理时使用自身输出。
- 可逆变换（invertible transform）：输入与潜变量一一对应，可计算逆和 Jacobian。
- 分数函数（score）：对数密度对数据的梯度，指向局部高概率方向。
- 条件生成（conditional generation）：利用类别、文本、图像、布局或其他条件改变生成分布。
历史演化
哪些论文分别建立了推断、对抗、顺序、可逆和逆噪声路线？
视觉生成的主要范式怎样形成
时间线强调方法家族的学习目标；后续高分辨率系统通常组合多个节点，而不是只属于单一家族。
- 2014 · 推断与对抗VAE 建立可微变分潜变量，GAN 建立生成—判别博弈
- 2016 · 像素自回归PixelRNN/PixelCNN 定义精确逐像素条件似然
- 2018 · 可逆流Glow 用可逆网络同时支持精确似然、采样与反演
- 2020–2021 · 逆噪声统一DDPM 给出可工作图像基线，Score SDE 统一离散扩散与连续分数模型
- 2022 · 潜空间平台LDM 把高分辨率生成搬入压缩 latent 并统一条件接口
- 2023 以后 · 可扩展主干与系统化DiT、控制器、少步生成和统一编辑成为平台层研究
2014 VAE 与 GAN，2016 PixelRNN，2018 Glow，2020 DDPM，2021 Score SDE，2022 LDM，2023 DiT。
核心机制
- VAE：用编码器近似 $p(z\mid x)$，重参数化采样，解码器拟合 $p(x\mid z)$；KL 项使潜空间接近先验。
- GAN：判别器提供分布差异信号，生成器无需显式似然；训练是动态博弈。
- 自回归：按顺序把联合概率拆成条件概率；训练稳定、似然明确，采样存在顺序瓶颈。
- 规范化流：限制每层可逆，使变量替换公式可计算；精确密度换来架构约束。
- 扩散/分数：用已知噪声过程构造训练对，学习各噪声级别的逆方向；采样通常需要数值迭代。
现代潜空间扩散是混合系统：LDM 先用自编码器压缩图像，再在 latent 中训练扩散 prior。它既不能简单称为经典 VAE，也不能忽略解码器重建上限。
主要方法分支
为什么“训练稳定”“采样快”“似然高”“图像好”不能合成一个排名？
比较生成模型要分开训练、采样和评测
每个家族把难点放在不同阶段。必须在同数据、分辨率、预算和评测协议下比较，且区分模型本体与条件/解码模块。
- 表示空间像素、连续 latent、离散 token 或可逆变量决定序列长度与细节上限
- 训练目标ELBO、对抗损失、最大似然、score matching 分别优化不同代理
- 采样路径一次前向、逐 token、可逆映射或多步数值求解决定延迟
- 条件接口类别、文本、参考图、布局与控制器改变可用能力
- 评测证据似然、FID、人评、条件遵循、覆盖、记忆和成本必须联合报告
系统栈从表示与训练目标，经采样路径和条件控制，到质量覆盖、似然与成本评测。
- 连续 latent vs 离散 token：连续空间便于梯度与插值，离散码可接自回归语言式建模；量化误差与序列长度不同。
- 显式似然 vs 隐式生成：显式密度便于概率评估，不保证感知质量；隐式模型可高质量采样，但覆盖与比较更难。
- 一次前向 vs 迭代生成：GAN/flow 通常一次网络路径，像素自回归和扩散顺序更长；单步成本仍需核算。
- 专用模型 vs 统一条件系统：共享底座降低任务割裂，也可能引入任务干扰和复杂路由。
奠基论文导读
- Auto-Encoding Variational Bayes：ELBO、摊销推断与重参数化。
- Generative Adversarial Nets：隐式分布与极小极大博弈。
- PixelRNN/PixelCNN：精确条件分解与顺序采样。
- Glow：可逆网络与变量替换，注意它不是 flow matching。
- DDPM：现代离散扩散训练/采样基线。
- Score SDE：连续时间统一与 SDE/ODE 求解。
- LDM：表示压缩与跨模态条件接口。
- DiT：可扩展去噪主干，不是新概率家族。
常见误区与局限
- 误区：似然高就更真实。 似然与人类感知可出现不同排序，且受离散化与特征尺度影响。
- 误区：GAN 一定模式坍塌、VAE 一定模糊。 这些是常见失败，不是脱离目标和架构的数学必然。
- 误区：flow 就是 flow matching。 Glow 是可逆规范化流；流匹配学习连续速度场，约束和目标不同。
- 误区：DiT 是一种不同于扩散的生成分布。 DiT 是去噪主干，仍运行在扩散/流类训练框架中。
- 误区：一步模型全生命周期更便宜。 蒸馏教师、训练数据与解码器成本可能很高。
- 共同局限：数据许可、记忆、偏差、深度伪造、条件组合、精细文字和可靠评测均不由方法家族自动解决。
与研究专题的关系
- topics/diffusion-models 深入解释最主流逆噪声家族。
- topics/image-generation 比较近五年图像系统、控制、统一与研究入口。
- topics/image-editing 关注真实输入反演、保持与局部修改。
- topics/video-generation 增加时间一致、运动与更高计算。
- topics/generative-model-evaluation 研究如何验证质量、对齐、偏好和可靠性。
推荐阅读顺序
- 先用方法地图说清五个家族各自学习什么。
- 读 VAE、GAN、PixelRNN、Glow 各一篇，只抓目标、训练和采样。
- 再读 DDPM 与 Score SDE，理解逆噪声和分数。
- 最后读 LDM 与 DiT，分辨表示空间和主干改造。
- 回到评测页，检查似然、FID、人评与成本是否对齐研究问题。
证据基础
- 变分与对抗：sources/2026-07-14-vae、sources/2026-07-14-gan。
- 自回归与流：sources/2026-07-14-pixelrnn、sources/2026-07-14-glow。
- 扩散与分数：sources/2026-07-14-ddpm、sources/2026-07-14-score-sde。
- 现代平台：sources/2026-04-14-latent-diffusion-models、sources/2026-04-15-scalable-diffusion-models-with-transformers。