Diffusion 入门

前置

高斯混合模型

一个复杂分布 $P_{\theta}$ 可以用 $K$ 个高斯分布来表示。

P_{\theta} = \sum_{i=1}^{K} P (z_i) P_{\theta} (x\vert z_i) \tag{1}

由于 $\int P(z) = 1$ ，用一个连续的高斯分布来表示 $P(z) \sim \mathcal{N}(0, 1)$ ，因此

P_{\theta} = \int P (z_i) * P_{\theta} (x\vert z_i) \tag{2}

KL 散度

D_{KL}(p\|q)= -\int\limits_{x} p(x) \log \frac{q(x)}{p(x)} dx \quad (m \to \infty) \tag{3}

优化目标

初衷是希望生成模型所产生的图片所遵从的概率分布尽可能接近真实世界图片的概率分布。使用 KL 散度描述，得到：

\arg\min_{\theta} \mathrm{KL}(P_{\text{data}} \parallel P_{\theta}) \tag{4}

其中 $P_{\theta}$ 是模型所预测的分布， $P_{data}$ 为真实分布。对上式做如下变换

\begin{aligned} \arg\min_{\theta} \mathrm{KL}(P_{\text{data}} \parallel P_{\theta}) &= \arg\min_{\theta} -\int\limits_{x} P_{\text{data}}(x) \log\frac{P_{\theta}(x)}{P_{\text{data}}(x)} dx \\ &= \arg\max_{\theta} \int\limits_{x} P_{\text{data}}(x) \log\frac{P_{\theta}(x)}{P_{\text{data}}(x)} dx \\ &= \arg\max_{\theta} \int\limits_{x} P_{\text{data}}(x) \log P_{\theta}(x) dx - \arg\max_{\theta} \int\limits_{x} P_{\text{data}}(x) \log P_{\text{data}}(x) dx \\ &= \arg\max_{\theta} \int\limits_{x} P_{\text{data}}(x) \log P_{\theta}(x) dx \\ &= \arg\max_{\theta} \mathbb{E}_{x\sim P_{\text{data}}}[\log P_{\theta}(x)] \\ &\approx \arg\max_{\theta} \sum\limits_{i=1}^{m} \log P_{\theta}(x_i) \\ &= \arg\max_{\theta} \log \prod\limits_{i=1}^{m} P_{\theta}(x_i) \\ &= \arg\max_{\theta} \prod\limits_{i=1}^{m} P_{\theta}(x_i) \tag{5} \end{aligned}

$(5.8)$ ，得到新的优化目标 $\arg\max_{\theta} \prod\limits_{i=1}^{m} P_{\theta}(x_i)$ 。

Lower Bound

要使 $(5.8)$ 成立，即极大似然估计 (Maximum Likelihood Estimate)

\text{MLE} \quad \theta^{*} = \argmax_{\theta} P _{\theta}(x) \tag{6}

令 $q(z \vert x)$ 是某个概率分布 (实际上是加噪过程的分布 $q_{\phi}$ ，通常记作 $q(x_{1..T}|x_0)$ ， $\phi$ 代表加噪过程的参数)，则

\begin{aligned} \log(P_\theta(x)) &= \log(P_\theta(x)) \cdot \int q(z|x) \, dz \\ &= \int \log\left(\frac{P_\theta(x,z)}{P_\theta(z|x)}\right) q(z|x) \, dz \\ &= \int \log\left(\frac{P_\theta(x,z)}{q(z|x)} \cdot \frac{q(z|x)}{P_\theta(z|x)}\right) q(z|x) \, dz \\ &= \int \log\left(\frac{P_\theta(x,z)}{q(z|x)}\right) q(z|x) \, dz + \text{KL}(q(z|x) \parallel P_\theta(z|x)) \\ &\geq \int \log\left(\frac{P_\theta(x,z)}{q(z|x)}\right) q(z|x) \, dz \\ &= \mathbb{E}_{q(Z|X)}\left[\log\left(\frac{P_\theta(x,z)}{q(z|x)}\right)\right] \\ \tag{7} \end{aligned}

$(7.1) → (7.2)$ ，由 $P_{\theta}(x, z) = P_{\theta}(x) * P_{\theta}(z | x)$

$(7.4)$ ，由 $\text{KL}(p\|q) = \int{p\log{\frac{p}{q}}} \ge 0$

因此，要优化最大对数似然，就是在优化 Evidence Lower Bound (ELBO). 至此，得到初步的优化目标，下面开始讲解 DDPM.

DDPM

Overview

通俗理解 DDPM。允许多步 ( $T$ ) 生成过程，从而分多次估计噪声 $\hat{\epsilon}_t$ 比一步估计图片 $x_T → \hat{x}_0$ 容易。DDPM 的大部分数学框架在更早时候已有之，而该工作的最大贡献其实是用 U-Net 作为噪声估计器调通了这一模型，并得到了不错的效果。

前向扩散过程

给定初始数据分布 $x_0 \sim q(x)$ ，前向扩散过程向 $x_0$ 逐步添加 $T$ 次高斯噪声，得到一系列带噪声图片 $x_1, ..., x_T$ 。定义 $x_{t-1} \rightarrow x_t$ 的加噪过程：

q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1 - \beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I}) \tag{8}

q(\mathbf{x}_{1:T} | \mathbf{x}_0) = \prod_{t=1}^T q(\mathbf{x}_t | \mathbf{x}_{t-1}) \tag{9}

从而，加噪过程是一个马尔可夫链，满足分布 $\mathcal{N}(\mathbf{x}_t; \sqrt{1 - \beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I})$ ，生成 $x_{t-1} \rightarrow x_t$ 的过程只由 $\{\beta_t, x_{t-1}\}$ 确定。 $\beta_1, ..., \beta_T$ 是可学习的参数，提前确定 $\beta_1, ..., \beta_T$ 后即可得到加噪过程 $x_1, ..., x_T$ 任意一步。

关于 $q_{\phi}$ 的设计。为什么选择 $\sqrt{1-\beta_t}$ 和 $\sqrt{\beta_t}$ 用于修饰加噪过程的均值和方差，并不知道 DDPM 的前置工作中是否有提及。但在训练过程中，这个设计可以方便地引出 $\alpha_t$ 和 $\bar{\alpha}_t$ 的定义，从而实现对 $x_0 \rightarrow x_t$ 的一步加噪。

注意，此时我们实际上只定义了加噪过程满足的分布 $q_{\phi}$ ，尚未定义实际的加噪过程，这部分将在「重参数化」一节说明。但可以知道的是，随着加噪过程的进行， $\beta_t$ 不断增大，即每一步的噪声比例不断升高。最终，当 $T \rightarrow \infty$ ， $x_T$ 趋近于一个各向独立的高斯分布，视觉上就是一张接近纯粹高斯噪声的「雪花」图。

重参数化

一步加噪

从 $\mathbf{x}_0$ 和固定序列 $\{\beta_t \in (0, 1)\}_{t=1}^{T}$ 可以直接得到任意一步 $\mathbf{x}_t$ ，从而省去前向迭代。这使得训练过程变得容易。

References

Diffusion 入门

前置

高斯混合模型

KL 散度

优化目标

Lower Bound

DDPM

Overview

前向扩散过程

重参数化

一步加噪

References

DDPM

DDIM

DDNM