拡散モデル

${\alpha }_t=1-{\beta }_t$、${\bar{\alpha }}_t={\prod }_{s=1}^t{\alpha }_s$ とおく。筋は 2020 年の DDPM の論文に沿う。

1. 記事の式は、縮めてからノイズを足す操作と同じである。各段のノイズ ${\epsilon }_t$ は、互いに独立な標準正規分布に従う。

   $$x_t=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{\epsilon }_t$$

2. 2 歩をつなげると、$x_{t-2}$ の係数は掛け算になり、ノイズは 2 つの和になる。

   $$\begin{array}{rl}{x}_t=\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}& +\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{\epsilon }_{t-1}\\ & +\sqrt{1-{\alpha }_t}{\epsilon }_t\end{array}$$

3. 独立な正規分布の和は、また正規分布で、分散は足し算になる。密度のたたみ込みを平方完成すると、ガウス積分に帰着する。2 つのノイズの分散の和は次のとおりである。

   $${\alpha }_t(1-{\alpha }_{t-1})+(1-{\alpha }_t)=1-{\alpha }_t{\alpha }_{t-1}$$

4. これを $t$ 回くり返すと、$x_0$ から $x_t$ へ一度に飛べる。$\epsilon$ は 1 つの標準正規分布のノイズである。

   $$\begin{array}{rl}q(x_t\mid x_0)& =\mathcal{N}(\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)I)\\ x_t& =\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}\epsilon \end{array}$$

5. 係数 $\sqrt{1-{\beta }_t}$ の役目を見る。$x_{t-1}$ の各成分の分散が 1 なら、$x_t$ の分散も 1 のままである。

   $$\mathrm{Var}(x_t)=(1-{\beta }_t)\cdot 1+{\beta }_t=1$$

6. 縮めずにノイズだけを足すと、分散は段ごとに ${\beta }_t$ ずつ増え続ける。ブラウン運動で、ずれの 2 乗の平均が時間に比例して増えるのと同じである。

   $$\mathrm{Var}(x_t)=1+\sum _{s=1}^t{\beta }_s$$

7. $1-\beta \le e^{-\beta }$ なので、$\sum {\beta }_s$ が大きければ ${\bar{\alpha }}_T$ は 0 に近い。データの形は消え、$x_T$ はほぼ正規分布 $\mathcal{N}(0,I)$ に従う。

   $${\bar{\alpha }}_T=\prod _{s=1}^T(1-{\beta }_s)\le \exp (-\sum _{s=1}^T{\beta }_s)$$

8. 逆向きを考える。$x_0$ も分かっているとして、ベイズの定理で $x_{t-1}$ の分布を求める。前向きはマルコフ連鎖なので、$x_t$ の分布は $x_{t-1}$ だけで決まる。

   $$q(x_{t-1}\mid x_t,x_0)\propto q(x_t\mid x_{t-1})q(x_{t-1}\mid x_0)$$

9. 右辺の 2 つの正規分布の指数を足すと、$x_{t-1}$ の 2 次式になる。$x_{t-1}$ の 2 乗の係数を通分すると、3 と同じ計算で分子に $1-{\bar{\alpha }}_t$ が出る。

   $$\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}}=\frac{1-{\bar{\alpha }}_t}{{\beta }_t(1-{\bar{\alpha }}_{t-1})}$$

10. 平方完成すると、逆向きの 1 歩も正規分布になる。分散は 9 の逆数で、平均は 1 次の項から決まる。

    $$\begin{array}{rl}{\tilde{\beta }}_t& =\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t\\ {\tilde{\mu }}_t& =\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{x}_0+\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t\end{array}$$

11. 4 から $x_0=(x_t-\sqrt{1-{\bar{\alpha }}_t}\epsilon )/\sqrt{{\bar{\alpha }}_t}$ を入れると、平均は $x_t$ とノイズ $\epsilon$ だけで書ける。ノイズさえ当てられれば、1 歩戻れる。

    $${\tilde{\mu }}_t=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}\epsilon )$$

12. DDPM の学習は、$x_t$ と $t$ からノイズを当てるネットワーク ${\epsilon }_{\theta }$ の 2 乗誤差を小さくする。2 乗誤差をいちばん小さくする答えは、条件つきの期待値である。

    $$\begin{array}{rl}L& =E\Vert \epsilon -{\epsilon }_{\theta }(x_t,t){\Vert }^2\\ {\epsilon }_{\theta }^{\ast }(x_t,t)& =E[\epsilon \mid x_t]\end{array}$$

13. $x_t$ の密度 $p_t(x)=\int \mathcal{N}(x;\sqrt{{\bar{\alpha }}_t}y,(1-{\bar{\alpha }}_t)I)p_0(y)dy$ を $x$ で微分して $p_t$ で割ると、積分は $x_t$ を知ったときの $x_0$ の期待値になる。ツイーディーの公式である。

    $$\nabla \log p_t(x_t)=-\frac{x_t-\sqrt{{\bar{\alpha }}_t}E[x_0\mid x_t]}{1-{\bar{\alpha }}_t}$$

14. 4 の 2 行目の、$x_t$ を知ったときの期待値をとって 13 と比べる。ノイズのいちばんよい推定は、スコアに $-\sqrt{1-{\bar{\alpha }}_t}$ を掛けたものである。ノイズを当てる学習は、スコアを当てる学習と同じになる。

    $$\begin{array}{rl}E[\epsilon \mid x_t]& =\frac{x_t-\sqrt{{\bar{\alpha }}_t}E[x_0\mid x_t]}{\sqrt{1-{\bar{\alpha }}_t}}\\ & =-\sqrt{1-{\bar{\alpha }}_t}\nabla \log p_t(x_t)\end{array}$$

15. データが $N$ 個の点 $x_0^{(1)},\dots ,x_0^{(N)}$ だけなら、$E[x_0\mid x_t]$ はベイズの定理で正確に計算できる。重みは softmax で、その重みで平均をとる形はトランスフォーマーの注意機構と同じである。

    $$\begin{array}{rl}E[x_0\mid x_t]& =\sum _{i=1}^N{w}_i{x}_0^{(i)}\\ w_i& \propto \exp (-\frac{\Vert x_t-\sqrt{{\bar{\alpha }}_t}{x}_0^{(i)}{\Vert }^2}{2(1-{\bar{\alpha }}_t)})\end{array}$$

13 の式は、1956 年にハーバート・ロビンズが、モーリス・ケネス・ツイーディーとの私信によるとして報告したもので、ブラッドリー・エフロンは 2011 年の論文でこれを「ツイーディーの公式」と呼んで論じた。ソンらの 2021 年の論文も、標本を作る最後の 1 歩にこの式を使っている。12 と 14 が言うのは、最良の答えの性質である。学習したネットワークがそこにどこまで近づくかは、データとネットワークと学習の量による。