ArticleMetadataMain page

topic · 2026-04-16

扩散效率工程

#near-cvpr-2025#image-generation#diffusion#efficiency

扩散效率工程

概述

这一页专门整理 diffusion engineering 这条子主线。它关注的核心问题不是“扩散模型能不能生成”，而是“扩散路线怎样成为一个更可扩展、更可部署、更容易挂接控制能力的工程平台”。在当前知识库里，这条线已经从 backbone 选择延伸到了采样提速、训练动力学、部署压缩、以及 guidance 接口工程化。

当前综合判断

当前证据已经足够把 diffusion efficiency 看成一张完整工程图谱，而不是几篇互相分散的技巧论文。sources/2026-04-15-all-are-worth-words 与 sources/2026-04-15-scalable-diffusion-models-with-transformers 负责给出 backbone 与 scaling 的起点；sources/2026-04-15-analyzing-training-dynamics-diffusion-models 说明训练动力学本身会决定质量上限；sources/2026-04-16-come-closer-diffuse-faster、sources/2026-04-15-act-diffusion、sources/2026-04-15-distilling-ode-solvers-diffusion-models、sources/2026-04-16-on-distillation-of-guided-diffusion-models、sources/2026-04-15-accelerating-diffusion-sampling-optimized-time-steps、sources/2026-04-15-deepcache 与 sources/2026-04-16-sana-sprint 则把“如何更快生成”拆成更完整的时间纵深：从 2022 年的早期 conditional acceleration，一直到 2025 年的一步一致性蒸馏前沿。

再往后，sources/2026-04-16-high-fidelity-guided-image-synthesis 把高保真 latent guidance 明确抬成独立问题，sources/2026-04-16-post-training-quantization-on-diffusion-models 把这条线推进到低比特部署，sources/2026-04-16-towards-practical-plug-and-play-diffusion-models 与 sources/2026-04-16-self-guided-diffusion-models 又把效率问题和控制问题重新绑在一起：一个降低外部 guidance 接入成本，一个降低 guidance 对人工标签的依赖。放在一起看，diffusion 现在更像一个正在长出完整工程子生态的技术平台。

sources/2026-04-16-plug-and-play-diffusion-features 还补了一层更细的接口工程证据：控制能力可以直接建立在 diffusion feature 复用上，而不只体现在单独的 guidance 模块设计上。

sources/2026-04-16-rethinking-spatial-inconsistency-cfg 还提醒我们，guidance engineering 的难点已经从“接不接得上去”继续推进到“空间上稳不稳定”。

sources/2026-04-16-controlnet、sources/2026-04-16-a-star、sources/2026-04-16-boxdiff 与 sources/2026-04-16-dense-text-attention-modulation 又把这条层次继续拆开：有的路线通过 side-branch adapter 扩展条件控制，有的路线直接在测试时治理 cross-attention，还有的路线把空间布局约束做成 training-free guidance。说明 guidance engineering 已经不是单一技巧，而是一组围绕“接口设计、attention 轨迹与空间一致性”的系统工程问题。

sources/2026-04-16-prompt-to-prompt、sources/2026-04-16-attend-and-excite、sources/2026-04-16-multidiffusion 与 sources/2026-04-16-dlt-layout-transformer 则继续把 control 路线向 composition 层扩张：现在不仅能修 attention、加 box 或 layout，还能把语义完整性、多路径融合和抽象布局建模一起纳入 controllability 叙事。换句话说，diffusion control 正在从若干小技巧逐步长成一套分层接口标准。

sources/2026-04-16-self-correcting-llm-controlled-diffusion-models、sources/2026-04-16-c3net、sources/2026-04-16-layoutdiffusion-graphic-layout-generation 与 sources/2026-04-16-dc-controlnet 又把这套标准往收敛阶段推进：现在已经能看到 controller-based、compound-adapter-based、layout-native 与 hierarchical-control 这几种接口边界开始分明。

sources/2026-04-16-accelerating-dit-gradient-cache、sources/2026-04-16-distilling-parallel-gradients-ode-solvers 与 sources/2026-04-16-text-embedding-quantization-diffusion 则把 deployment / hardware-friendly 这条线真正补厚了：缓存策略开始 DiT-aware，solver 蒸馏开始并行化，quantization 也开始深入到 text-guided 条件链路。

同时，sources/2026-04-15-diffusion-models-without-attention 依然提供了重要约束：效率工程在强化 diffusion 主线的平台性，但主干路线本身仍存在 attention / non-attention 的结构竞争。这让当前更合理的综合判断变成：diffusion efficiency 的主线已经很清楚，主干架构的最终收敛形态仍值得继续观察。

方法家族

四层工程栈

1. backbone / scaling 层

这一层回答“什么样的主干更适合持续扩展”。当前证据说明 ViT/DiT 路线已经具备很强的平台势能，尤其适合承接后续的效率和控制模块。

2. sampling acceleration 层

这一层回答“怎样减少生成时间”。当前已覆盖 solver、schedule、cache、guidance distillation、多步到少步压缩等多条路线，说明 few-step diffusion 已经从单点技巧发展成系统工程问题。

3. deployment compression 层

这一层回答“怎样让模型更容易部署”。sources/2026-04-16-post-training-quantization-on-diffusion-models 把单步网络成本压缩纳入主线，说明 diffusion 的落地问题已经进入比特宽度和硬件友好性层面。

4. guidance engineering 层

这一层回答“怎样把控制能力更稳定、更低成本地接进系统”。当前已经同时覆盖 guidance 蒸馏、插件化 guidance、自监督 guidance、side-branch condition adapters，以及 test-time / training-free spatial guidance，这说明 controllability 本身也正在被工程化，而不是只靠单一条件器方案。

现在这一层至少可以再细分成六类：一类是 module-level guidance framework，例如 sources/2026-04-16-towards-practical-plug-and-play-diffusion-models；一类是 feature-level control reuse，例如 sources/2026-04-16-plug-and-play-diffusion-features；一类是 side-branch adapters，例如 sources/2026-04-16-controlnet；一类是 inference-time attention / spatial guidance，例如 sources/2026-04-16-a-star、sources/2026-04-16-boxdiff 与 sources/2026-04-16-dense-text-attention-modulation；一类是 compositional / layout control framework，例如 sources/2026-04-16-multidiffusion、sources/2026-04-16-dlt-layout-transformer 与 sources/2026-04-16-prompt-to-prompt；还有一类是 controller / hierarchical control system，例如 sources/2026-04-16-self-correcting-llm-controlled-diffusion-models、sources/2026-04-16-c3net 与 sources/2026-04-16-dc-controlnet。

证据基础

开放问题

  • 这些效率路线里，哪些在真实部署里会形成稳定组合，而不是只在论文设定里各自成立？
  • 低比特部署和 few-step 路线叠加后，质量-速度边界会怎样变化？
  • guidance engineering 的主流方向最终会更偏外部插件化，还是更偏模型内生 self-guidance？
  • DiT 主干是否会继续吸收这些工程模块，还是会被更轻的新 backbone 接手？

相关页面

Metadata

{
  "id": "topic-diffusion-efficiency-engineering",
  "type": "topic",
  "title": "扩散效率工程",
  "status": "active",
  "created": "2026-04-16",
  "updated": "2026-04-16",
  "tags": [
    "near-cvpr-2025",
    "image-generation",
    "diffusion",
    "efficiency"
  ],
  "summary": "追踪扩散模型从主干缩放到采样加速、部署压缩与 guidance 工程化的完整效率技术栈。",
  "source_notes": [
    "sources/2026-04-15-all-are-worth-words",
    "sources/2026-04-15-scalable-diffusion-models-with-transformers",
    "sources/2026-04-15-analyzing-training-dynamics-diffusion-models",
    "sources/2026-04-15-act-diffusion",
    "sources/2026-04-15-deepcache",
    "sources/2026-04-15-freeu",
    "sources/2026-04-15-distilling-ode-solvers-diffusion-models",
    "sources/2026-04-16-on-distillation-of-guided-diffusion-models",
    "sources/2026-04-16-high-fidelity-guided-image-synthesis",
    "sources/2026-04-16-plug-and-play-diffusion-features",
    "sources/2026-04-16-come-closer-diffuse-faster",
    "sources/2026-04-16-rethinking-spatial-inconsistency-cfg",
    "sources/2026-04-16-sana-sprint",
    "sources/2026-04-16-post-training-quantization-on-diffusion-models",
    "sources/2026-04-16-towards-practical-plug-and-play-diffusion-models",
    "sources/2026-04-16-self-guided-diffusion-models",
    "sources/2026-04-16-controlnet",
    "sources/2026-04-16-a-star",
    "sources/2026-04-16-boxdiff",
    "sources/2026-04-16-dense-text-attention-modulation",
    "sources/2026-04-16-prompt-to-prompt",
    "sources/2026-04-16-attend-and-excite",
    "sources/2026-04-16-multidiffusion",
    "sources/2026-04-16-dlt-layout-transformer",
    "sources/2026-04-16-self-correcting-llm-controlled-diffusion-models",
    "sources/2026-04-16-c3net",
    "sources/2026-04-16-layoutdiffusion-graphic-layout-generation",
    "sources/2026-04-16-dc-controlnet",
    "sources/2026-04-15-accelerating-diffusion-sampling-optimized-time-steps",
    "sources/2026-04-15-diffusion-models-without-attention"
  ],
  "related_topics": [
    "topics/diffusion-models",
    "topics/image-generation",
    "topics/image-editing",
    "topics/generative-model-evaluation"
  ],
  "related_entities": [
    "entities/diffusion-transformer"
  ],
  "open_questions": [
    "questions/question-will-unified-image-models-sustain-their-advantage"
  ]
}