FreeU（CVPR 2024）：不重训也能提质的扩散 U-Net 调参

会议：CVPR 2024

发表日期：2023/09/20

资料加入日期：2026-04-15

一句话结论

这篇工作说明扩散系统的质量提升不一定非要靠重训或换主干，有时只靠推理时重新分配 U-Net 主干与 skip connection 的权重，就能拿到相当可观的增益。

问题定义

它要解决的是扩散模型生成质量与工程成本之间的矛盾。很多提质方案需要重训练、蒸馏或更换架构，而 FreeU 追问的是：现有 diffusion U-Net 里是否已经埋着未被充分利用的结构潜力。

方法概述

论文从 U-Net 内部功能分工出发，认为 backbone 更负责去噪语义，而 skip connection 更容易把高频细节直接灌进 decoder，导致模型忽略高层语义。FreeU 的做法很简单：在推理时重新加权 backbone 与 skip feature map 的贡献，只改少量缩放因子，不做任何额外训练。

关键发现

• 它把 diffusion efficiency / quality 主线补成了一个重要分支：推理时轻量结构调参也能带来收益。
• 它和 sources/2026-04-15-deepcache 形成互补：一个偏提速，一个偏免费提质，都属于“先不重训”的系统层路线。
• 它提醒 topics/diffusion-models：即便 DiT 越来越强，U-Net 系扩散骨干在工程实用性上仍有很强生命力。

局限或疑问

• 它并不是新的通用 backbone，而更像对既有 U-Net 系扩散模型的高性价比补丁。
• 这种收益在更复杂控制条件、多模态统一框架里是否同样稳定，还需要更多证据。
• 它更像工程增益而不是方法论替代，因此不能单独反驳 Transformer 主干长期扩张的趋势。

原始链接

• https://arxiv.org/abs/2309.11497
• https://arxiv.org/pdf/2309.11497

相关页面

• topics/image-generation
• topics/diffusion-models
• sources/2026-04-15-deepcache
• claims/claim-dit-is-becoming-the-default-scalable-generation-backbone

备注

这篇论文在本库里的主要价值，是把“免费午餐”式的推理期结构改造明确放进 diffusion backbone 叙事里，让工程线不至于只剩蒸馏、缓存和求解器优化。