NVIDIA GPUのFP64性能

最近、深層学習一色になってあまりfp64の性能にfocusがあたっていないだけでなく、情報を探すのにも苦労するので、（自分自身の購入検討用に）少しまとめてみました。CC（Compute Capability）は主にNVIDIAのウェブサイト、SMあたりのfp64性能はCUDA C Programming Guideのmaximize instruction throughputにある64-bit floating-point add, multiply, multiply-addから引用しております。TeslaのスペックはELSAさんのウェブサイトを参考にしたものが多いです。残りのものはウェブ検索などからあちこちのサイトから引用しており、個々の引用を示すことは省略させてください。長期間の稼動を想定して、クロックはベースクロック、総fp64性能は、「SM数 x fp64 x クロック」で計算しております。計算方法が正しいかどうかは知りませんので悪からず（例えばTesla K20などは一般に言われている数値1.17TFLOPSとかなり乖離があります）。TDPには追加電源の種類（「6+8」なら6ピンと8ピン）も追記しております。Tesla P100/V100のCPU8ピンの電源ケーブルは、PCIe 8pin2本から変換するのが一般的のようです（変換ケーブルが付属します）。複数のeditionがある場合などは、入手可能性が高そうなもの（例えばFounder Editionでないもの）、またメモリ容量によって性能が変わる場合、最大のメモリ容量のものを示しております。また最後に、こちらのサイトは非常に参考になると思います。