核心思想
扩散模型的训练过程包含两个相反的方向:
前向过程(加噪):逐步给一张清晰的图片加入随机噪声,经过 T 步之后,图片变成纯粹的随机噪声。
反向过程(去噪):训练一个神经网络,让它学会从噪声中一点点还原出图片。具体来说,是预测当前这一步加入的噪声是什么,然后减掉它。
生成过程
生成一张新图时:
- 从一张完全随机的噪声图开始;
- 反复调用训练好的去噪网络,逐步减少噪声;
- 经过若干步后,得到一张清晰的图片。
关键在于:这个过程是受条件引导的。如果你提供一个文本描述,模型会在去噪的每一步参考这个描述,让最终结果符合你的要求。
为什么效果好
在扩散模型之前,主流生成模型是 GAN(生成对抗网络)。GAN 由一个生成器和一个判别器对抗训练,效果不错但存在明显短板:
- 训练不稳定:生成器和判别器的平衡难以维持;
- 模式崩塌:生成器可能只学会生成少数几种样本,缺乏多样性。
扩散模型的训练目标更简单直接(就是"预测噪声"),训练过程稳定得多,生成样本的多样性也更好。
代价是生成速度慢——因为它需要迭代几十步甚至上百步去噪,而不像 GAN 那样一次前向传播就出图。
加速方法
- 更好的采样器:改进数值求解方法,用更少的步数达到相近的质量;
- 潜在空间扩散(Latent Diffusion):不在像素空间操作,而是先把图片压缩到一个低维的"潜在空间",在那里做扩散。计算量大幅下降——这是 Stable Diffusion 一类模型能跑在消费级显卡上的关键;
- 蒸馏:把多步采样过程"蒸馏"成更少步数;
- 一致性模型(Consistency Models):追求一步或少数几步生成。
条件控制
除了文本描述,还可以加入更精细的控制:
- ControlNet:用边缘图、深度图、姿态骨骼图等作为额外条件,精确控制构图;
- 图像修复(Inpainting):只重绘图片的指定区域;
- 图生图:基于一张已有图片做变化。
一个仍在讨论的问题
训练数据中的版权与授权问题。模型从大量网络图片中学习,其中包含了受版权保护的作品和艺术家的风格。
这涉及复杂的法律与伦理争议:风格能否被"学习"?生成的内容是否构成侵权?训练数据是否应该获得授权?
目前各国正在通过立法和司法实践逐步厘清这些边界。
说明:本文为生成式 AI 技术的公开知识整理。