ITO紹介
最終更新日：2019年1月17日スーパーコンピュータシステム ITOは、2018年1月に九州大学情報基盤研究開発センターで稼働を開始しました。 同システムは、米国Intel社の Xeon Gold (Skylake-SP) プロセッサと、 米国NVIDIA社の Tesla P100 (Pascal) GPUを搭載し、システム全体の総理論演算性能は約 10PFLOPSです。
同システムは、第5期科学技術基本計画に示されたAI（人工知能・機械学習）・ビッグデータ、さらにデータサイエンスの研究及びこれらを活用した研究に対 応した研究基盤の提供を目指して仕様策定したもので、日本国内に設置されるスーパーコンピュータシステムとしては初めて、詳細な電力モニタリング機構や本 格的なクラウド連携のしくみを導入し、従来にはない新しいスーパーコンピューティングの方向性や利用者層・課題の拡大に向けたインフラを提供します。
九州大学情報基盤研究開発センターは同システムを、JHPCNやHPCI及び九州大学情報基盤研究開発センターが実施する各種利用プログラムの計算資源と して活用し、広く学内外の研究者に提供することにより、我が国の学術研究の基盤強化と新たな学術研究の展開に貢献します。
ハードウェア諸元
システム全体
| 総理論演算性能 | 10.43 PFLOPS (CPU：7.72 PFLOPS, GPU：2.71 PFLOPS) |
|---|---|
| 総メモリ容量 | 433 TB (DDR4メモリのみの合算値) |
| インターコネクト | Infiniband EDR 4x (100Gbps), Full Bisection Bandwidth Fat Tree構成 |
| 共有ストレージ容量 | 24.6 PB |
サブシステムA
| 機種名 | Fujitsu PRIMERGY CX2550/CX2560 M4 | |
|---|---|---|
| 演算ノード | CPU | Intel Xeon Gold 6154 (Skylake-SP) (3.0 GHz (Turbo 3.7 GHz), 18 core）× 2 / node |
| 理論演算性能 | 3,456 GFLOPS / node (倍精度) | |
| メモリ | DDR4 192 GB / node | |
| メモリ帯域幅 | 255.9 GB/sec / node | |
| 総ノード数 | 2,000 | |
| 総演算コア数 | 72,000 | |
| 総理論演算性能 | 6.91 PFLOPS (倍精度) | |
| 総主記憶容量 | 384 TB | |
| ノード間接続 | InfiniBand EDR 4x (100Gbps) | |
| ノード内ストレージ | 1TB HDD × 2 (SATA接続) 一部ノード(CX2560)のみ、さらに追加で800GB SSD × 1 (SATA接続) |
|
サブシステムB
| 機種名 | Fujitsu PRIMERGY CX2570 M4 | |
|---|---|---|
| 演算ノード | CPU | Intel Xeon Gold 6140 (Skylake-SP) (2.3 GHz (Turbo 3.7 GHz), 18 core）× 2 / node |
| GPU | NVIDIA Tesla P100 (Pascal) (1,328 - 1,480 MHz, 56 SM (3584 CUDA core)) × 4 / node | |
| 理論演算性能 | CPU : 2,649.6 GFLOPS / node (倍精度) GPU : 5.3 TFLOPS (Boostクロック換算) / 1GPU (倍精度) |
|
| メモリ | DDR4 : 384 GB / node HBM2 : 16 GB / 1GPU |
|
| メモリ帯域幅 | DDR4 : 255.9 GB/sec / node HBM2 : 732 GB/sec / 1GPU |
|
| CPU-GPU間接続 | PCI-Express Gen.3 x16 (16GB/sec) | |
| GPU間接続 | NVLink (20GB/sec × 1or2) | |
| 総ノード数 | 128 | |
| 総演算コア数 | CPU : 4,608 GPU : 1,835,008 |
|
| 総理論演算性能 | CPU : 0.34 PFLOPS (倍精度) GPU : 2.71 PFLOPS (倍精度) |
|
| 総メモリ容量 | DDR4 : 49 TB HBM2 : 8.19 TB |
|
| ノード間接続 | InfiniBand EDR 4x (100Gbps) x 2 | |
| ノード内ストレージ | 1TB HDD × 2 (SATA接続) 800GB SSD × 1 (SATA接続) |
|
基本フロントエンド
| 機種名 | HPE DL380 Gen10 | |
|---|---|---|
| 演算ノード | CPU | Intel Xeon Gold 6140 (Skylake-SP) (2.3 GHz (Turbo 3.7 GHz), 18 core）× 2 / node |
| GPU | NVIDIA Quadro P4000 (Pascal) × 1 / node | |
| 理論演算性能 | CPU : 2,649.6 GFLOPS / node | |
| メモリ | DDR4 : 384 GB / node GDDR5 : 8GB |
|
| メモリ帯域幅 | DDR4 : 255.9 GB/s / node GDDR5 : 243 GB/s |
|
| CPU-GPU間接続 | PCI-Express Gen.3 x16 (16GB/sec) | |
| 総ノード数 | 160 | |
| 総理論演算性能 | CPU : 0.42 PFLOPS (倍精度) | |
| 総メモリ容量 | DDR4 : 61 TB GDDR5 : 1.28 TB |
|
| ノード間接続 | InfiniBand EDR 4x (100Gbps) x 2 | |
| ノード内ストレージ | 2TB HDD × 2 (SAS接続) | |
| その他 | 仮想化対応 | |
大容量フロントエンド
| 機種名 | SGI UV 300 | |
|---|---|---|
| 演算ノード | CPU | Intel Xeon E7-8880 v4（Broadwell-EX）（2.2 GHz, 22 core）× 16 / node |
| GPU | NVIDIA Quadro M4000 (Maxwell) × 1 / node | |
| 理論演算性能 | CPU : 12.39 TFLOPS (倍精度) / node | |
| メモリ | DDR4 : 12 TB / node GDDR5 : 8 GB |
|
| メモリ帯域幅 | DDR4 : 1,360 GB/s / node GDDR5 : 192 GB/s |
|
| CPU-GPU間接続 | PCI-Express Gen.3 x16 (16GB/sec) | |
| 総ノード数 | 4 | |
| 総理論演算性能 | CPU : 49.6 TFLOPS (倍精度) | |
| 総メモリ容量 | DDR4 : 48 TB GDDR5 : 32 GB |
|
| ノード間接続 | InfiniBand EDR 4x (100Gbps) x 4 | |
| ノード内ストレージ | 2TB HDD × 2 (SAS接続) | |
| その他 | 仮想化対応 | |
ログインノード
| 機種名 | Fujitsu PRIMERGY RX2540 M4 | |
|---|---|---|
| 演算ノード | CPU | Intel Xeon Gold 6140 (Skylake-SP) (2.3 GHz (Turbo 3.7 GHz), 18 core）× 2 / node |
| 理論演算性能 | 2,649.6 GFLOPS / node (倍精度) | |
| メモリ | DDR4 384 GB / node | |
| メモリ帯域幅 | 255.9 GB/sec / node | |
| 総ノード数 | 2 | |
| 総演算コア数 | 72 | |
| ノード間接続 （ITO内各ノードへの接続） |
InfiniBand EDR 4x (100Gbps) × 2 10Gb Ethernet × 1 |
|
| ノード内ストレージ | 1TB HDD × 2 (SATA接続) | |