TPU v3

Google が機械学習のために作った専用のチップ TPU(テンソル処理装置)の 3 代目で、2018 年 5 月の開発者会議 Google I/O で発表された。発表の場でスンダー・ピチャイは、データセンターに初めて液体での冷却を入れなければならなかったと述べた。Google Cloud の説明によれば、1 個のチップは TensorCore を 2 つ持ち、32 GiB の高帯域メモリ(HBM2)を積んで、bf16 の数で毎秒 123 兆回の演算ができる。1024 個のチップを高速の回線で結んだものを Pod と呼ぶ。

「v3-8」は TensorCore が 8 つの組、つまりチップ 4 個の組を表す。2020 年の DDPM の論文は、この TPU v3-8 で、32×32 画素の CIFAR-10 の画像 256 枚を作るのに 17 秒、256×256 画素の画像 128 枚に 300 秒かかったと書いている。1 枚ごとにニューラルネットワークを 1000 回通す計算である。