本をめくって作った英文
THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF THIS POINT IS THEREFORE ANOTHER METHOD FOR THE LETTERS THAT THE TIME OF WHO EVER TOLD THE PROBLEM FOR AN UNEXPECTED.
意味の通る文ではない。それでも、隣り合う2語はどこを取っても、実際の英文にありそうな並びになっている。
1948年7月、ベル研究所のクロード・シャノンは、論文「通信の数学的理論」にこの一節を載せた。作り方は手作業だった。本を適当に開いて語を1つ選び、別のページを開いてその語が出てくるまで読み、すぐ後ろの語を書き写す。ページを替えて、いま書き写した語を探し、また次の語を書き写す。
次の語は、すぐ前の1語だけで決まる。
シャノンは、もっと先の近似も作れたら面白いが、次の段階では手間が膨大になる、と書き添えた。そのうえで、こうした偶然の列は数学では「離散マルコフ過程」として知られている、と続けた。
対話のAIが答えを書く手順も、形はこれとよく似ている。前に並んだトークン（単語や単語の切れ端）から次のトークンの確率を求め、1つを選んで書き足す。違うのは、さかのぼって見る長さと、そのための計算の量である。
AIの中で働く式には、1763年のベイズ、1838年のヴェアフルスト、1902年のギブズ、1906年のマルコフ、1948年のシャノンにさかのぼるものが多い。新しいのは式そのものより、それらの組み立て方と、回せるようになった計算の量のほうだ。
次の語を、前の語から選ぶ
シャノンの本めくりは、マルコフ連鎖そのものである。次の一歩が、今の状態だけで決まる偶然の列だ。アンドレイ・マルコフは1906年にこの列を考え、1913年にはプーシキンの韻文小説から2万字を数えた。その数え上げからは、母音の次に母音が来る割合が0.128、子音の次なら約0.663と出る。シャノンは状態を、前の文字が残した「影響の名残」と言い表した。
状態を長くすると、表は書けなくなる。2020年にカプランらが調べた言語モデルは、50257種類のトークンを使い、前の最大1024トークンから次を当てた。直前の1024トークンの並びを1つの状態とみれば、形の上ではマルコフ連鎖のままである。ただし状態の数は、およそ通りになる。シャノンの2字の近似なら、状態は空白を含めても27通りだった。
そこで言語モデルでは表を作らず、ニューラルネットワークが毎回、次のトークンの確率を計算する。確率にそろえる最後の段は、softmaxと呼ばれる関数だ。2017年のトランスフォーマーの論文も、出力を「次のトークンの確率」に変えるのに、学習で決める1次変換とsoftmaxを使った。候補ごとの点数を指数関数に入れ、和が1になるように割る。
この形は、1902年にウィラード・ギブズが『統計力学の基本原理』で「カノニカル（正準）」と名づけた分布と同じである。ギブズは、確率の対数がエネルギーの1次式になる集まりを考え、エネルギーを割る数には温度に似た性質がある、と書いた。点数を、符号を変えたエネルギーと読めば、は温度にあたる。softmaxという呼び名は、1989年にジョン・ブライドルが付けた。最大の値を1つ選ぶ操作を、微分できる形にしたものだからである。
同じsoftmaxは、前のトークンのどれに目を向けるかを決める注意機構でも働く。2014年にバダナウらが翻訳のために考えた仕組みで、2017年のトランスフォーマーはこれを軸に組まれた。クエリとキーの内積をで割ってからsoftmaxに入れるので、がギブズの温度の役をする。
当て方の良し悪しを測る物差しは、シャノンの情報エントロピーの仲間である。正しいトークンに付けた確率からを数え、文章全体で平均したものが交差エントロピーで、カプランらは自然対数で測ってナットを単位にした。
ただし、交差エントロピーは言葉そのもののエントロピーより下がらない。差は1951年にクルバックとライブラーが論じた量で、0より小さくならないからだ。
外れを測り、後ろへ配る
外れが測れても、どの重みをどれだけ直せばよいかは別の問題である。1986年10月9日発行の『ネイチャー』323巻で、デビッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズがその計算の仕方を示した。誤差逆伝播法である。出力の誤差を2乗の和で測り、微分の連鎖律を使って、出力の側から入力の側へ1層ずつ勾配を求める。
論文の式（2）は、ユニットの出力をとした。後ろへ配る式（5）に入るのは、その微分だ。
1838年にピエール・フランソワ・ヴェアフルストが人口の増え方を書いたロジスティック方程式で、、とすると、これと同じ式になる。
人口の頭打ちを表すS字の曲線が、148年後の論文では、ユニットの出力の形として使われていた。
微分が出力だけで書けるので、前向きの計算で出したをとっておけば、後ろ向きは掛け算で済む。それでも論文は、この関数にこだわっていない。「式（1）と（2）の関数をそのまま使う必要はない。微分が有界な入出力の関数なら、どれでもよい」。
規模の差は大きい。論文の家系図の例では、24人と12種類の関係を入力にした5層のネットワークに、104通りの事実のうち100通りを1500回くり返して学ばせた。図3の説明から結合を数えると、重みはバイアスを除いて576本である。2020年のGPT-3は、パラメーターが1750億個あった。約3億倍になるが、勾配を求める原理は、層を何段重ねても連鎖律のままである。
1989年、ブライドルは、2乗の誤差の代わりに前の章の交差エントロピーで採点することを勧めた。softmaxと組み合わせると、softmaxの手前での勾配は、出力の確率から正解の印（正しい答えなら1、ほかは0）を引いた値になる。1986年の式（4）のと同じ、引き算1つの形だ。softmaxを「ロジスティックを多入力に広げたもの」と呼んだブライドルは、この2つを「自然な相棒」と書いた。
ヒントンが2024年のノーベル物理学賞を受けた仕事には、1983〜1985年のボルツマンマシンもある。物理学委員会の解説によれば、ネットワークの状態に確率を割り当てる回路で、ここにもギブズの正準分布が入っている。受賞の理由の文はノーベル賞と公式で読める。
ノイズの雲から絵を戻す
画像を作るAIでも、組み合わさっているのは古い式だ。2015年3月、スタンフォード大学のヤッシャ・ソール＝ディクスタインらは、データの分布の構造を、くり返しの前向きの拡散過程で「系統的に、ゆっくり壊す」方法をarXivに出し、構造を取り戻す逆向きの過程を学ばせた。本文は、分布を少しずつ別の分布へ移すのにマルコフ連鎖を使う、と書く。いまの拡散モデルの始まりである。
前向きの1歩は、画像を少し縮めて、正規分布のノイズを足すことである。
は標準正規分布に従う。1809年にガウスが『天体運行論』で、観測の誤差の分布として使った曲線だ。2020年のホーらの論文（DDPM）は、をから0.02まで、1000段で等しい幅ずつ増やした。
独立な正規分布の和は、また正規分布になる。そのため1000段を1歩ずつ進めなくても、元の画像からへ一度に飛べる。DDPMの論文は、任意の段のを閉じた式で引けることを、前向きの過程の「注目すべき性質」に挙げた。
戻る1歩は、ベイズの定理で書ける。も分かっているとして、を見たときのの分布を、前向きの式から逆にたどればよい。
右辺は2つとも正規分布だ。掛け合わせた左辺も正規分布になり、平均と分散が式で決まる。ただし実際にはが分からない。そこで、足されたノイズをニューラルネットワークに当てさせ、その推定で代える。ネットワークは、当てたノイズと本物の差の2乗を小さくするように学ぶ。
ベイズの論文は、本人の死後に友人のリチャード・プライスが見つけ、王立協会の会員カントンへの手紙の形で送ったものである。1763年の『フィロソフィカル・トランザクションズ』53巻に載った。
結果から原因の確からしさをさかのぼる式が、257年後、ノイズから画像をさかのぼる1歩に使われた。
回せる量が変わった
式の古さと比べると、計算の量の変わり方は桁が違う。マルコフもシャノンも、手で数え、手で書き写した。DDPMは1枚の画像を作るのに、ネットワークを段の数だけ、1000回通す。論文によれば、TPU v3-8（V100というGPUの8枚分ほど）で、32×32画素の画像256枚を作るのに17秒かかった。
2020年のカプランらは、埋め込みを除いたパラメーターを768から15億まで、およそ6桁にわたって変え、損失がその数のべき乗で下がることを示した。スケーリング則の式で、は約である。
指数0.076では、パラメーターを10倍にしても、損失は16%しか減らない。
それでも減り方は、調べた範囲で崩れなかった。要旨は、ネットワークの幅や深さといった細部の効き目は、広い範囲で小さいと書く。同じ年のGPT-3は、スパースでない言語モデルとして、それまでの最大の10倍の大きさだった。
微分しても形が崩れない式
ここまでに出てきた古い式を並べ直すと、AIに使われてきたわけが見えてくる。
| 式 | 生まれた年 | AIの中での役目 | 計算で効く性質 |
|---|---|---|---|
| ベイズの定理 | 1763年 | ノイズを1段戻す | 正規分布どうしなら、結果も正規分布 |
| 正規分布 | 1809年 | 1段ごとに足すノイズ | 足し合わせても正規分布 |
| ロジスティック方程式 | 1838年 | ユニットの出力 | 微分が出力だけで書ける |
| 正準分布（softmax） | 1902年 | 点数を確率と注意の重みに | 対数が点数の1次式 |
| マルコフ連鎖 | 1906年 | 次のトークン、ノイズの列 | 列の確率が1歩ごとの積 |
| 情報エントロピー | 1948年 | 当て方の採点 | 積の対数が和になる |
右の列には共通点がある。微分しても、足し合わせても、ベイズで更新しても、式の形が崩れない。マルコフ連鎖で文章の確率を1歩ごとの積に分け、その対数をとれば、文章全体の採点はトークンごとの交差エントロピーの和になる。
和なら、1つずつ微分して足せばよい。
この便利さは、原典にも書かれていた。1986年の論文は、入力を1次式でまとめてから非線形の関数を通すと「学習の手続きがずっと簡単になる」と書いた。ブライドルの引き算1つの勾配も、DDPMの一度に飛べるノイズも、同じ種類の近道である。
ここからは見立てである。膨大な回数をくり返す計算では、1回ごとの微分と更新が短い式で書けることが、速さを大きく左右する。18世紀から20世紀の半ばに、確率の議論や天体の観測、人口、熱、通信のために見つかった式のうち、この条件にかなうものがAIに選ばれて残った、と考えている。
割る数τを動かす
左の列の「それ」がクエリになっていて、右の列に8語への重みが線の太さと棒の長さで出る。割る数は、softmaxの温度の役だ。初めのは4次元のベクトルでのにあたり、「魚」の重みは0.634である。「÷1（割らない）」を押すと0.932に集まり、を16まで上げると0.166に下がって、8語の重みがほぼ平らになる。温度を下げると1つの状態に集まり、上げるとならされる。ギブズの分布の性質そのものだ。
手で回せる大きさで試す
AIの中の式は、手で計算できる大きさに縮めても同じように働く。次の3つは、電卓か表計算で数分あれば試せる。
- にを入れるとで、傾きは0.25になる。ロジスティック方程式で数が上限の半分のとき、増える速さは最大のになり、、なら同じ0.25である
- 正しいトークンに確率0.5を付けたときの交差エントロピーはナットで、2を底にすればちょうど1ビットになる。確率0.1なら2.30ナット、3.32ビットで、スケーリング則の式に15億パラメーターを入れた値とほぼ同じになる
- 3つの点数をsoftmaxに入れる。なら重みは0.665、0.245、0.090で、なら0.867、0.117、0.016になる。温度を下げると、いちばん高い点数に重みが集まる
公式の記事では、マルコフ連鎖でオネーギンの数え上げを、誤差逆伝播法の応用の章で重みを1回直す計算を、拡散モデルの証明の章で逆向きの1歩の導き方を、手で追える。
誤差逆伝播法や注意機構を、1980年以降に生まれたほかの式と並べて読むなら1980年以降に生まれた公式がある。誤差逆伝播法に出てくる∂とΣの読み方は、次の2本で読める。
年表に並べた機械学習の式
下のマスは、この事典で「機械学習」のタグを付けた公式を、年の順にすべて並べたものである。本文で触れなかったAlphaFoldの構造予測も入っている。タグの付いた公式が増えると、ここも増える。
参考文献
- C. E. Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal 27 (1948), 379-423, 623-656.
- A. Vaswani et al., "Attention Is All You Need", arXiv:1706.03762 (2017); D. Bahdanau, K. Cho, Y. Bengio, "Neural Machine Translation by Jointly Learning to Align and Translate", arXiv:1409.0473 (2014).
- J. W. Gibbs, Elementary Principles in Statistical Mechanics, Charles Scribner's Sons, 1902; J. S. Bridle, "Training Stochastic Model Recognition Algorithms as Networks can Lead to Maximum Mutual Information Estimation of Parameters", Advances in Neural Information Processing Systems 2 (1990), 211-217.
- J. Kaplan et al., "Scaling Laws for Neural Language Models", arXiv:2001.08361 (2020); T. B. Brown et al., "Language Models are Few-Shot Learners", arXiv:2005.14165 (2020).
- S. Kullback, R. A. Leibler, "On Information and Sufficiency", The Annals of Mathematical Statistics 22 (1951), 79-86.
- D. E. Rumelhart, G. E. Hinton, R. J. Williams, "Learning representations by back-propagating errors", Nature 323 (1986), 533-536.
- The Nobel Committee for Physics, "Scientific Background to the Nobel Prize in Physics 2024"; "Press release: The Nobel Prize in Physics 2024"（NobelPrize.org、2026年10月27日参照）.
- J. Sohl-Dickstein, E. A. Weiss, N. Maheswaranathan, S. Ganguli, "Deep Unsupervised Learning using Nonequilibrium Thermodynamics", arXiv:1503.03585 (2015); J. Ho, A. Jain, P. Abbeel, "Denoising Diffusion Probabilistic Models", arXiv:2006.11239 (2020).
- T. Bayes, "An Essay towards Solving a Problem in the Doctrine of Chances", Philosophical Transactions of the Royal Society of London 53 (1763), 370-418.
- P.-F. Verhulst, "Notice sur la loi que la population suit dans son accroissement", Correspondance mathématique et physique 10 (1838), 113-121; A. A. Markov, Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 2-ya seriya, 15 (1906), 135-156; C. F. Gauss, Theoria motus corporum coelestium, Hamburg, 1809.