東大、文章を前から作るAIの「一方向性」をエントロピー生成で測る理論

文章を後ろから読むと、どれほど「ありそうにない」話になるのか。東京大学大学院工学系研究科の沙川貴大教授は、その度合いを、熱力学でいうエントロピー生成という1つの数で測る理論を作った。対象は、これまでの出力から次を作る自己回帰生成モデル全般で、大規模言語モデルの土台になるトランスフォーマーから、信号処理に使うカルマンフィルターまでを同じ枠で扱える。

論文は2026年11月5日（米国東部標準時間）にPRX Intelligenceのオンライン版に載り、東京大学と科学技術振興機構（JST）が11月6日に発表した。

発表が挙げる例は「コップが床に落ちた。コップが割れた。」だ。文の順を入れ替えると「コップが割れた。コップが床に落ちた。」となり、現実の描写として不自然になる。言語モデルで両方の確率を比べれば、モデルが出来事の順序をどう学んだかを数で見られるのではないか、という考えである。

前から作る確率は掛け算で決まる

自己回帰生成モデルは、それまでに出した列を見て、次に何が出るかの確率を決める。言語モデルなら、出力はトークンと呼ばれる単語などの単位だ。列$y_1,y_2,y_3,\dots$がそろって出る確率は、1つずつの確率を掛け合わせた値になる。

$$P_{\mathrm{F}}=p(y_1)\times p(y_2\mid y_1)\times p(y_3\mid y_1,y_2)\times \cdots$$

$p(y_2\mid y_1)$は「$y_1$が出たあとで$y_2$が出る確率」と読む。縦棒の右が、それまでの履歴だ。添え字のFは前向き（forward）を表す。

逆向きの確率$P_{\mathrm{B}}$は、同じモデルに列を後ろから作らせたときの確率で、Bは後ろ向き（backward）を表す。最後の出力から始めて、1つ前、さらに1つ前と、同じ仕組みを逆の順で使う。逆順の文章で別のモデルを学習させた研究とは、ここが異なる。

小さな例で考えよう。筆者が作った、1、2、3の目が出るルーレットである。1の次は2、2の次は3、3の次は1が確率0.8で出やすく、同じ目が続く確率と1つ戻る確率はそれぞれ0.1。最初の目は3通りとも1/3とする。

列1→2→3と、逆の3→2→1が出る確率を計算してみる。

$$\begin{array}{rl}{P}_{\mathrm{F}}& =\frac{1}{3}\times 0.8\times 0.8\approx 0.213\\ P_{\mathrm{B}}& =\frac{1}{3}\times 0.1\times 0.1\approx 0.0033\end{array}$$

1行目は最初に1が出る確率1/3に、1→2と2→3の0.8を掛けた。2行目は3から始め、3→2と2→1がどちらも「1つ戻る」なので0.1を2回掛けた。前向きの列は、逆向きより64倍起こりやすい。

比の対数を平均すると0以上

エントロピー生成は、この比の対数で測る。1本の列について、次の$\sigma$（シグマ）を考える。

$$\sigma =\ln \frac{P_{\mathrm{F}}}{P_{\mathrm{B}}}$$

$\ln$は、$e\approx 2.718$を何乗するとその数になるかを表す自然対数である。$\ln 2\approx 0.693$さえ覚えておけば、この先の計算を追える。$e$を0.693乗すると2なので、その6倍の約4.16乗では、2を6回掛けた64になる。だから1→2→3の列では$\sigma =\ln 64\approx 4.16$。逆向きに読むと起こりにくい列ほど、$\sigma$は大きい。

ほかの列はどうか。1→1→2は$P_{\mathrm{F}}=1/3\times 0.1\times 0.8$で、逆の2→1→1は$1/3\times 0.1\times 0.1$だから、比は8で$\sigma =3\times 0.693\approx 2.08$。1→2→1のように前から読んでも後ろから読んでも同じ列は、比が1で、$e$の0乗が1だから$\sigma =0$になる。一方、1→3→2のように「戻る」ばかりの列は比が1/64で、$\sigma \approx -4.16$と符号が逆になる。

硬貨なら、話は変わる。表が0.7の確率で出る硬貨でも、表表裏の確率$0.7\times 0.7\times 0.3$と、逆の裏表表の$0.3\times 0.7\times 0.7$は等しい。1回ずつの結果が、前に何が出たかによらないので、どの列でも$\sigma =0$だ。順番に意味のない列から、一方向性は出てこない。

1本ずつの$\sigma$は負にもなるが、列の起こりやすさで重みを付けて平均すると、必ず0以上になる。これが論文のエントロピー生成$S$である。

$$S=\sum P_{\mathrm{F}}\ln \frac{P_{\mathrm{F}}}{P_{\mathrm{B}}}\ge 0$$

$\sum$は、考えられるすべての列について足すという記号だ。この形はカルバック・ライブラー情報量と呼ばれ、2つの確率の表がどれだけ食い違うかを測る。シャノンの情報エントロピーと同じく確率に対数を掛けて足す形で、2つの表が一致するときだけ0になる。

ルーレットで、目を3つ並べた列27通りをすべて足すと$S\approx 2.91$。$\sigma$が負の列は確率の合計で0.03しかなく、正の列が0.8を占める。¹

熱の出入りと同じ不等式になる

では、なぜ「エントロピー生成」と呼ぶのか。論文によると、次の出力が直前の出力だけで決まる場合（マルコフ連鎖）には、$S$は確率熱力学でふつう使う定義と一致する。

このとき比の対数は、2つの部分に分かれる。最初と最後の目が出る確率の比と、1歩ごとに「行き」と「帰り」を比べた確率の比だ。後ろ向きに作り始める目の確率を前向きの最後の目とそろえると、前者を平均した値は、出力のシャノンエントロピー$H$が増えた分$\Delta H$になる。一方、後者は、温度$T$の熱浴との間に局所詳細釣り合いが成り立つなら、熱浴から受け取った熱$Q$で書ける。

熱浴は、熱を出し入れしても温度の変わらない周りのこと。局所詳細釣り合いは、1歩ごとに行きと帰りの起こりやすさを比べた値が、その歩で出入りする熱で決まるという条件である。2つを合わせると、$S\ge 0$は次のように読み替えられる。

$$\begin{array}{rl}S& =\Delta H-\frac{Q}{k_{B}T}\ge 0\\ \Delta H& \ge \frac{Q}{k_{B}T}\\ k_B\Delta H& \ge \frac{Q}{T}\end{array}$$

1行目の$k_B$はボルツマン定数である。2行目で$Q/(k_{B}T)$を右辺へ移し、3行目で両辺に$k_B$を掛けた。左辺は、出力のエントロピーが増えた分をボルツマンのエントロピーと同じ単位にそろえた量だ。

エントロピーの増え分は、受け取った熱を温度で割った量を下回らない。クラウジウスの不等式と同じ形、つまり熱力学の第二法則である。ルーレットの目は、いつ見ても3通りが1/3ずつ出る。だから$\Delta H=0$で、2.91はすべて1歩ずつの比から来る。

ただし、今回の理論は直前の出力で決まる過程に限らず、熱浴の条件も置かない。言語モデルで計算する$S$は、計算機の半導体が出す熱やエネルギー消費そのものではないと、発表は断っている。

1歩ずつの寄与に分けられる

この理論では、長さ$n$の列について、$S$を時刻ごとの寄与の足し算に書き直せる。どの寄与も0以上だ。

$$S=D_1+D_2+\cdots +D_n,D_t\ge 0$$

$D_t$は、未来の列から時刻$t$の出力を推し量るときの食い違いを表す。片方は、前向きの確率からベイズの定理で振り返った「1つ前はたぶんこれだった」という確率。もう片方は、同じモデルを逆向きに使ったときの「次はこれ」という確率だ。2つが同じなら、$D_t=0$になる。

ルーレットで、いまの目が3だったとしよう。振り返れば、1つ前は2だった確率が0.8と高い。ところが同じ規則を逆向きに使うと、3の次は1が0.8になる。山の位置が、1つずれている。

$$\begin{array}{rl}D& =0.8\ln \frac{0.8}{0.1}+0.1\ln \frac{0.1}{0.1}+0.1\ln \frac{0.1}{0.8}\\ & =0.8\ln 8-0.1\ln 8\\ & =0.7\times 2.08\approx 1.46\end{array}$$

1行目は1つ前が2、3、1の場合を順に足した。2行目で$\ln 1=0$と$\ln (1/8)=-\ln 8$を使い、3行目で$\ln 8=3\times 0.693\approx 2.08$を入れた。目を3つ並べた列では振り返る歩が2つあり、$2\times 0.7\ln 8\approx 2.91$は先ほどの$S$と一致する。²

論文は、1歩ずつの寄与をさらに2つに分け、どちらも0以上になることを示した。1つは、逆向きのモデルが未来の列を要約するときに捨てた情報。もう1つは、前向きのための仕組みを逆向きに使い回して生じるずれである。論文はそれぞれをcompression loss（圧縮による損失）、model mismatch（モデルの食い違い）と呼ぶ。

語の順ではなく文の順を逆にする

大規模言語モデルで試すと、困ったことが起きる。トークンの順を全部逆にすると、文法が崩れてしまうのだ。論文の例では、"This is a book"を逆にした"book a is This"はほぼありえない列で、$\sigma$はこの崩れだけで大きくなる。そこで、語の順は保ったまま文の順だけを入れ替える、文単位のエントロピー生成を考えた。

差は数字にはっきり出た。学習で決める数（パラメーター）が1億2400万個の小さな言語モデルに、120トークンずつ文章を作らせて調べた。1トークンあたりの$\sigma$を平均すると、トークンを全部逆に並べた場合は3.99、文の順だけを逆にした場合は0.469。$e^{3.99}\approx 54$なので、トークンを逆に並べた列は、1トークンごとにならして約54分の1しか起こらない計算になる。

では、本題の比較はどうか。出来事が順に進む文章と、互いに関係のない事実を並べた文章を、4文の英文で100本ずつ用意した。文章は5種類の商用生成AIに同じ指示で作らせたので、5組ある。文の順を逆にしたときの$\sigma$を比べると、出来事の文章のほうが逆にした並びが相対的に起きにくく、エントロピー生成が大きくなる傾向が見られた。

この向きの差は、小さなモデルでは5組のうち3組で、パラメーターが約40億個の大きなモデルでは5組すべてで、統計ではっきり出た。トークンの順を全部逆にした場合も差は出るが、文章を作ったAIによって向きまで入れ替わっている。³

世界モデルへの手がかり

結果の読み方には、断りが付く。「順に進む」かどうかは文章を作らせる指示で決めたので、AIごとに違う書きぶりの癖が混じったおそれを消しきれない。発表は、順序や因果関係を理論で定義し、それに基づいて文章を作るなど、さらなる検証が望まれると書く。論文も、文単位の$\sigma$が因果の構造を測る一般的な物差しになったとまでは主張していない。「順に進む」と「原因と結果」の区別も、まだついていない。

それでも見通しはある。生成AIの内部には、現実世界の構造や出来事の関係を表す「世界モデル」ができている、という見方がある。発表は、今回の理論がその世界モデルを熱力学で定量的に調べる手がかりになると期待する。

ルーレットの1→2→3は、後ろから読むと64分の1になる。コップが落ちてから割れる順番も、言語モデルの中で同じような比として残っているのかもしれない。

注

1. 27通りについて$e^{-\sigma }$を確率の重みで平均すると、ちょうど1になる。論文の理論でも成り立つ積分型ゆらぎの定理で、$S\ge 0$はここからも導ける。 ↩

2. 最後の目そのものにも寄与があるが、この例では0になる。前向きに作った最後の目も、後ろ向きに作る最初の目も、3通りが1/3ずつで同じだからだ。ルーレットは次の目が直前の目だけで決まるので、振り返りも直前の目だけで足りる。 ↩

3. 調べたのは、学習済みの重みが公開されている言語モデル2種（1億2400万と40億パラメーター）である。差の大きさは順位双列相関係数で測り、小さなモデルの文単位では、はっきり差が出た3組で+0.26〜+0.46だった。+1なら、どの組み合わせでも出来事の文章のほうが大きいことを表す。 ↩