シドニー大、小型AIの学習は初期値を100億倍精密にしても行き先そろわず

同じデータを同じ順番で、同じ手順で学習させる。変えるのは、重み1つの最後の1ビットだけ。コンピューターが区別できるいちばん小さな差である。それでも約48%の試行で、学習の行き先が変わった。

シドニー大学物理学部のプーリン・ゴン（Pulin Gong）教授と、博士課程のアンドリュー・リー（Andrew Ly）氏が、2026年11月5日付のNature Machine Intelligenceに報告した。2人は約50万個のニューラルネットワークを学習させ、出発点（初期値）を行き先で塗り分けた地図が、どこまで拡大しても混ざり合うフラクタルになっていると説明する。

もっとも、AIの答えが予測できないという話ではない。48%が数えたのは内部の重みの行き先で、近い出発点どうしで答えが割れた入力は約2.9%だった。この数字を出したネットワークも重み1万2036個と小さく、最新の大規模モデルそのものは調べていない。

谷は歩幅で変わる

学習とは、重みという数を少しずつ動かして、誤りの大きさ（損失）を減らす作業である。誤差逆伝播法で坂の傾きを求め、次の式をくり返す。

$$w_{t+1}=w_t-\eta \nabla L(w_t)$$

$w_t$は$t$回目の重み、$L$は損失で、$\nabla L$はその傾きを表す。1歩の大きさ、つまり歩幅を決める$\eta$が学習率だ。式に乱数は入っていない。では、行き先はどこで分かれるのか。

筆者が作った小さな例で試してみよう。$L(w)=(w^2-1{)}^2/4$なら、谷は$w=1$と$w=-1$の2つで、傾きを表す式は$w^3-w$になる。$w_0=1.9$での傾きは$1.9^3-1.9=6.859-1.9=4.959$で、これに学習率を掛けて引くと1歩後の$w_1$が出る。

$$\begin{array}{rl}\eta =0.1:& 1.9-0.1\times 4.959=1.4041\\ \eta =0.5:& 1.9-0.5\times 4.959=-0.5795\end{array}$$

歩幅が小さいと1.27、1.19と右の谷へ近づき、大きいと谷を飛び越えて、−0.77、−0.93と左の谷へ落ちる。

$\eta =0.5$のまま出発点$w_0$をずらすと、行き先は帯に分かれる。$\sqrt{3}\approx 1.732$で左の谷に変わり、2.148で右へ戻り、2.221で左へと、入れ替わりは$\sqrt{5}$の手前まで止まらない。

$\sqrt{5}\approx 2.236$の近くでは1歩で差が6倍に開くので、帯の幅も約6分の1ずつ縮む。2.235と2.236は差が0.001でも、1歩後には−2.230と−2.236で、差は0.006だ。

迷う割合を測る指数

出発点を精密に決めれば、迷いは減るのか。論文はこれを$f(\epsilon )$で測る。差が$\epsilon$以内の出発点を2つ選んだとき、行き先が違う割合だ。$\epsilon$が小さいと、次のべき乗に従う。

$$f(\epsilon )\propto {\epsilon }^{\varphi }$$

$\propto$は比例の記号で、$\varphi$を不確実性指数という。$\epsilon$を100億分の1にすると、$f$は$(10^{-10}{)}^{\varphi }=10^{-10\varphi }$倍になる。

$\varphi$	どこの値か	$f$の変わり方
0.92	筆者の谷の例1	約10⁻⁹倍
0.0126	論文の最小模型（重み4個）	0.75倍
0.000	論文のVGG-12（重み1万2036個）	ほぼ変わらない

同じ100億倍の精度でも、1行目と3行目では結果がまるで違う。

$\varphi$はフラクタルの濃さとも結びつく。1次元で、幅$\epsilon$の箱で境目を覆うのに${\epsilon }^{-D}$個要るとしよう。$D$がボックスカウント次元である。迷う割合は箱の全長$\epsilon \times {\epsilon }^{-D}$で決まるから、$\varphi =1-D$となる。

$\varphi$がほぼ0なら、境目が全体を埋めかけている。論文はこの違いを、面積が0の「やせた」フラクタルと、面積を持つ「太った」フラクタルで区別する。マンデルブロ集合の記事にある2024年の学習率の地図は、やせたほうの例として挙げられている。

$\varphi =0.0126$のとき、$f$を半分にするのに何桁要るのか。桁数を$n$として、$10^{-0.0126n}=1/2$を解く。$10^{0.301}\approx 2$なので$0.0126n=0.301$で、$n\approx 24$となる。コンピューターがふつう使う倍精度の数は10進で16桁ほどなので、届かない。

平均では近づくのに押し出される

穴だらけになる仕組みは、論文の最小模型で読める。ネットワークの中で計算する単位をニューロンと呼び、この模型には2つしかない。重みは4個、データは8点で、最初の式を学習率2.5のまま乱数なしでくり返す。行き先は主に3つで、2つのニューロンの重みがそろう面、符号だけ逆にそろう面、そして発散。そろった2つは同じ傾きを受けるので、そろったまま動く。

面の中の動きはカオスになる。ロジスティック写像やローレンツ・アトラクターと同じく、小さな差が1歩ごとに同じ割合で開く性質だ。その開き方を表すリアプノフ指数は、論文の値で0.1564。差は1歩で$e^{0.1564}\approx 1.17$倍になる。$\ln$を$e$の何乗かを表す記号として、差$10^{-10}$が1に届く歩数を計算する。

$$t=\frac{\ln 10^{10}}{0.1564}\approx \frac{23.0}{0.1564}\approx 147$$

一方、面から離れる向きの指数は−0.0645で、平均では1歩ごとに$e^{-0.0645}\approx 0.94$倍に近づく。ところが32歩ごとに区切ると、25.3%の区間で逆に離れる。128歩なら9.4%、512歩なら0.8%。

平均で近づくのに、ときどき押し出される。

カオスの軌道は押し出す場所の近くを何度も通るので、面のすぐそばのどこにでも、外へ飛ばされる出発点が混ざる。同じ行き先へ向かう出発点の集まりを吸引域といい、こうして穴だらけになったものをriddled basinと呼ぶ。カオスが読めなくするのは軌道の細部だが、これは行き先そのものを読めなくする。

地図にすると、どう見えるのか。筆者も同じ構成の模型を計算してみた。論文のデータではなく、別の乱数のデータを30通り試した。面の中がカオスで平均では面に近づく組は5つあり、次の地図はその1組で描いた。

出発点の差が$10^{-10}$でも、この模型の行き先は分かれることがある。

この組の$\varphi$は約0.09で、$f$は差$10^{-2}$で16%、$10^{-14}$で1.3%だった。12桁精密にしても、13分の1ほどにしかならない。条件を満たした5組の$\varphi$は0.03〜0.12に散らばり、この組は真ん中あたりにある。論文の0.0126まで小さい組はなかった。

1万2036個の重みでも

より実際に近いネットワークで確かめたのは、穴だらけの証明ではなく、それと矛盾しない目印である。代表例はVGG-12という画像認識のネットワークで、数万個を学習させるために重みを1万2036個まで細くした。手書き数字のデータMNISTで正解の札（ラベル）の半分をわざと誤らせ、学習率0.1でデータを30周する。

毎回同じ結果になるCPUでも、わずかな乱れが入るGPUでも、$\varphi$は$0.000\pm 0.002$に収まった。発表の「100億倍」は、この10桁の幅にあたる。行き先は、出力の手前の層（隠れ層）のどのニューロンが消えるかで数え、255×255の地図に1772通り現れた。

冒頭の約48%は、基準のネットワークを1つ決めて重みの最後の1ビットを反転したときの$f=0.477$である。$f$の大きさは調べる場所で変わるので、どのAIにも当てはまる確率ではない。

答えまで割れるのだろうか。ここで数字は一気に小さくなる。重みが全部0へ向かう失敗を除くと、平均正答率は97.6%でそろい、答えが割れる入力は$\epsilon$によらず一定だった。次の表の1行目にあたる。

モデルと課題	学習率	答えが割れた入力
VGG-12、ラベルの半分が誤りのMNIST	0.1	約2.9%
VGG-12、誤りのないMNIST	0.1	約3.5%
同じ	0.001	約0.4%
BERT、映画レビューの感情の分類	5×10⁻⁵	約27%
同じ	10⁻⁷	約0.1%

目を引くのは、文章を読むモデルBERTの27%で、10桁精密にしても減らなかった。同じBERTも学習率を下げれば0.1%までそろうが、この学習率は最適より小さい。多くの設定で、成績がよい学習率の近くほど再現しにくく、学習率を下げると成績も落ちる。もっとも、ラベルに誤りのないVGG-12にこの引き換えはなかった。

リー氏は発表で、同じ医療画像で学習した2つのがん検出AIが違うふるまいを学ぶ、という仮の場面を挙げる。ゴン教授は、乱数やハードウェアの差を除いても残る点を「もっと深いもの」と呼ぶ。

論文が次の手に挙げるのは、学習率を下げることのほかに、重みの入れ替えなどで答えが変わらない性質、つまり対称性を減らす設計だ。そろう面はこの性質から生まれる。桁を増やしても届かないなら、磨く先は出発点ではなく、歩幅と設計のほうなのだろう。

注

1. 差$\epsilon$を$10^{-2}$から$10^{-10}$まで変えて測った傾きである。この例の境目は$\sqrt{5}$に近づく列なので、$\epsilon$をさらに小さくすると$\varphi$は1に近づく。 ↩