GPU 8 枚の計算機

2017 年の論文「Attention Is All You Need」は、モデルを「NVIDIA の P100 の GPU を 8 枚積んだ 1 台の計算機」で学習させたと書いている。基本のモデルは 10 万歩で 12 時間、大きいモデルは 30 万歩で 3.5 日だった。

P100 は、NVIDIA が 2016 年 4 月 5 日に発表した、パスカルという設計の GPU である。発表の資料によれば、153 億個のトランジスタを 16 ナノメートルの製法で 1 枚のチップに作り込み、16 GB の HBM2 のメモリを同じ台の上に重ねて積んだ。メモリとの間で毎秒 720 GB のデータをやり取りし、32 ビットの浮動小数点の数で毎秒 10.6 兆回、16 ビットで毎秒 21.2 兆回の演算ができる。NVLink という回線で、1 台の中の 8 枚までを結べる。論文は、使った P100 がどの形の製品だったかまでは書いていない。

GPU は、同じ計算をたくさんのデータに一度に行うのが得意である。1 語ずつ順に進む再帰型のネットワークと違い、自己注意は文の語のすべての組の計算を行列の掛け算にまとめられるので、GPU の並列の計算を生かせる。