玄界のハードウェア
最終更新日：2024年9月18日全体構成
概要
玄界は、特徴の異なる複数のノードグループ、ログインノード、2種類の共有ストレージ、および周辺装置群が高速ネットワークにより接続されたシステムです 従来のシステム（ITO）と比べて、ノード数はおよそ半分に減少しましたが、性能は大きく向上しています。
全体構成図
全体性能
| 総計算ノード数 | 1,064 ノード |
|---|---|
| 総ラック数 | 32 ラック |
| 総理論演算性能 | CPU FP64 7.76 PFLOPS GPU FP64 5.63 PFLOPS GPU FP16,BF16 TC（機械学習） 166.22 PFLOPS |
| 総メモリ容量 | メインメモリ 566,912 GiB デバイスメモリ 15,568 GiB |
| インターコネクト | InfiniBand NDR 200/400 Gbps |
| 共有ストレージ容量 | HDD 55.2 PB SSD 737.28 TB |
ノードグループA
概要
ノードグループAは主要な演算装置としてCPUのみを搭載した計算ノードグループです。
最新世代のCPUにより高いアプリケーション性能が期待できるとともに、
ノード数が多い（1024ノード）ため大規模な分散メモリ型並列計算にも適しています。
構成
| 機種名 | FUJITSU Server PRIMERGY CX2550 M7 | |
|---|---|---|
| 計算ノード | CPU | Intel Xeon Platinum 8490H (Sapphire Rapids, 60 コア, 1.90 GHz - 3.50 GHz) × 2ソケット |
| メモリ | DDR5 4800 MHz, 512 GiB (32GiB×8 枚×2ソケット) | |
| 理論演算性能 | FP64 7,296 GFLOPS (3,648 GFLOPS×2ソケット) | |
| メモリバンド幅 | 614.2 GB/s （4800MHz×8Byte×8 チャネル×2ソケット） | |
| ノード数、総コア数 | 1,024ノード、122,880コア | |
| 総理論演算性能 | FP64 7.47 PFLOPS (3,648GF×2ソケット×1,024ノード) | |
| 総メモリ容量 | 512 TiB | |
| 総理論メモリバンド幅 | 629 TB/s | |
| ユーザ用ローカルストレージ | なし | |
| ノード間接続 | InfiniBand NDR (200Gbps) × 1 ポート/ノード | |
| 冷却方式 | 水冷 | |
ノード内構成概要図
ノードグループB
概要
ノードグループBは主要な演算装置としてCPUとGPUを搭載した計算ノードグループです。
高速なH100 GPUを備えており、数値計算・シミュレーション分野に加えてAI・データ科学分野の用途にも適しています。
GPUを分割して利用するMIGにも対応しています。小規模なGPU計算やGPU利用の練習などにはMIGの利用もご検討ください。
構成
| 機種名 | FUJITSU Server PRIMERGY GX2560 M7 | |
|---|---|---|
| 計算ノード | CPU | Intel Xeon Platinum 8490H (Sapphire Rapids, 60 コア, 1.90 GHz - 3.50 GHz) × 2ソケット |
| GPU | NVIDIA H100 (Hopper)×4ソケット | |
| メモリ | DDR5 4800 MHz, 1024 GiB (64GiB×8 枚×2ソケット) HBM2e, 376 GiB (94GiB×4ソケット） | |
| 理論演算性能 (CPU) | FP64 7,296 GFLOPS (3,648 GFLOPS×2ソケット) | |
| 理論演算性能 (GPU) | FP64: 134.0 TFLOPS (33.5 TFLOPS×4ソケット) FP64 (TC): 267.6 TFLOPS (66.9 TFLOPS×4ソケット) FP16, BF16 (TC): 3,957.6 TFLOPS (989.4 TFLOPS×4ソケット) | |
| メモリバンド幅 | CPU 614.40 GB/s (4800MHz×8Byte×8 チャネル×2ソケット) GPU 9,584 GB/s (2,396 GB/s×4ソケット) | |
| GPU間接続 | NVLink×18本 (1本あたり片方向25 GB/s、18本合計450 GB/s、双方向合計900 GB/s) | |
| CPU-GPU間接続 | PCIe Gen5 x16、双方向合計128 GB/s | |
| ノード数、総コア数 | 38ノード、4,560 CPUコア(60コア×2ソケット×38ノード) + 1,284,096 FP64 GPUコア(8,448コア×4ソケット×38ノード) | |
| 総理論演算性能 | CPU FP64: 277.25 TFLOPS (3,648GF×2ソケット×38ノード) GPU FP64: 5.09 PFLOPS (33.5TF×4ソケット×38ノード) GPU FP16, BF16 (TC): 150.39 PFLOPS (989.4TF×4ソケット×38ノード) | |
| 総メモリ容量 | ホストメモリ 38.91 TiB (64GiB×8枚×2ソケット×38ノード) デバイスメモリ 14.29 TiB (94GiB×4ソケット×38ノード) | |
| 総理論メモリバンド幅 | ホストメモリ 23.35 TB/s (4800MHz×8Byte×8 チャネル×2ソケット×38ノード) デバイスメモリ 364.19 TB/s (2,396GB/s×4ソケット×38ノード) | |
| ユーザ用ローカルストレージ | NVMe SSD 12.8 TB/node | |
| ノード間接続 | InfiniBand NDR (400Gbps)×2 ポート/ノード | |
| 冷却方式 | 水冷 | |
ノード内構成概要図
ノードグループC
概要
ノードグループCは、ノードグループBよりも多くのGPUやメモリを搭載した計算ノードグループです。
ノード数は2しかありませんが、他のノードグループでは動作や高速化が困難なプログラムに有効な可能性があります。
構成
| 機種名 | Supermicro GPU SuperServer SYS-821GE-TNHR | |
|---|---|---|
| 計算ノード | CPU | Intel Xeon Platinum 8480+ (Sapphire Rapids, 56 コア, 2.00 GHz - 3.80 GHz) × 2ソケット |
| GPU | NVIDIA H100 (Hopper)×8ソケット | |
| メモリ | DDR5 4400 MHz, 8 TiB (256GiB×16枚×2ソケット) HBM3, 640 GiB (80GiB×8ソケット） | |
| 理論演算性能 (CPU) | FP64 7,168 GFLOPS (3,584 GFLOPS×2ソケット) | |
| 理論演算性能 (GPU) | FP64: 268.0 TFLOPS (33.5 TFLOPS×8ソケット) FP64 (TC): 535.2 TFLOPS (66.9 TFLOPS×8ソケット) FP16, BF16 (TC): 7,915.2 TFLOPS (989.4 TFLOPS×8ソケット) | |
| メモリバンド幅 | CPU 563.2 GB/s (4400MHz×8Byte×8 チャネル×2ソケット) GPU 26,816 GB/s (3,352 GB/s×8ソケット) | |
| GPU間接続 | NVLink×18本（1本あたり片方向25 GB/s、18本合計450 GB/s、双方向合計900 GB/s） | |
| CPU-GPU間接続 | PCIe Gen5 x16、双方向合計128 GB/s | |
| ノード数、総コア数 | 2ノード、240 CPUコア(60コア×2ソケット×2ノード) + 135,168 FP64 GPUコア(8,448コア×8ソケット×2ノード) | |
| 総理論演算性能 | CPU FP64: 14.34 TFLOPS (3,584GF×2ソケット×2ノード) GPU FP64: 536 TFLOPS (33.5TF×8ソケット×2ノード) GPU FP16, BF16 (TC): 15.83 PFLOPS (989.4TF×8ソケット×2ノード) | |
| 総メモリ容量 | ホストメモリ 16 TiB (256GiB×16枚×2ソケット×2ノード) デバイスメモリ 1,280 GiB (80GiB×8ソケット×2ノード) | |
| 総理論メモリバンド幅 | ホストメモリ 1.23 TB/s (4800MHz×8Byte×8 チャネル×2ソケット×2ノード) デバイスメモリ 53.63 TB/s (3,352GB/s×8ソケット×2ノード) | |
| ユーザ用ローカルストレージ | NVMe SSD 15.3 TB/node | |
| ノード間接続 | InfiniBand NDR (400Gbps)×4 ポート/ノード | |
| 冷却方式 | 水冷 | |
ノード内構成概要図
ログインノード
概要
ログインノードとして、主要な演算装置としてCPUのみを搭載したノードを2ノード用意しています。
SSH接続時にはDNSラウンドロビンによりいずれかのノードに接続されます。
構成
| 機種名 | FUJITSU Sever PRIMERGY CX2530 M7 | |
|---|---|---|
| 計算ノード | CPU | Intel Xeon Platinum 8490H (Sapphire Rapids, 60 コア, 1.90 GHz - 3.50 GHz) × 2ソケット |
| メモリ | DDR5 4800 MHz, 1024 GiB (64GiB × 8枚 × 2ソケット) | |
| ノード数、総コア数 | 2ノード、240コア | |
| 総メモリ容量 | 2048 GiB | |
| ユーザ用ローカルストレージ | なし | |
| ノード間接続 | InfiniBand NDR (200Gbps) × 1ポート/ノード | |
| 冷却方式 | 空冷 | |
共有ストレージ
概要
共有ストレージとして、HDDから構成される大容量ストレージと、SSDから構成される高速ストレージを備えています。
RAIDによりデータの保護が行われていますがバックアップはとっていません。
不慮の事故や天災の際にはデータが失われることがあるため、重要なデータは各自でバックアップを取るように気を付けてください。
構成
| MDS/MDT（大容量ストレージ用） | DDN ES400NVX2 × 2 | |
|---|---|---|
| MDS/MDT 1セットあたり構成 | MDS数 | 4 |
| MDT数 | 4 | |
| 搭載ドライブ | 1.92TB NVMe SSD, 20 (+スペア1) | |
| RAID構成 | RAID6 (8D + 2P) | |
| inode数 | 約110億個 | |
| MDS/MDT（高速ストレージ用） | DDN ES400NVX2 × 1 | |
| MDS/MDT 1セットあたり構成 | MDS数 | 4 |
| MDT数 | 8 | |
| 搭載ドライブ | 3.84TB NVMe SSD, 20 (+スペア1) | |
| RAID構成 | RAID6 (8D + 2P) | |
| inode数 | 約225億個 | |
| OSS/OST（大容量ストレージ用） | DDN ES400NVX2 × 6 （大容量ストレージと高速ストレージで共用） | |
|---|---|---|
| OSS/OST 1セットあたり構成 | OSS数 | 4 |
| OST数 | 32 | |
| HDD実効容量 | 9.21TB | |
| RAID構成 | RAID6 (8D + 2P) | |
| Write実効性能 | 60GB/s | |
| Read実効性能 | 70GB/s | |
| OSS/OST（高速ストレージ用） | DDN ES400NVX2 × 6 （大容量ストレージと高速ストレージで共用） | |
| OSS/OST 1セットあたり構成 | OSS数 | 4 |
| OST数 | 8 | |
| SSD実効容量 | 122.88TB | |
| RAID構成 | RAID6 (8D + 2P) | |
| Write実効性能 | 60GB/s | |
| Read実効性能 | 80GB/s | |
| メタデータバックアップサーバ | 1台 | |
|---|---|---|
| S3アクセス用サーバ | 2台 | |
| NFSアクセス用サーバ | 1台 | |
| モニタリングサーバ | 1台 | |
ネットワーク
玄界の各ノード・装置はInfiniBandとEthernetにより接続されています。
計算ノードや共有ストレージ、ログインノードなどは高速なInfiniBandによる
フルバイセクションバンド幅のFat Tree型ネットークで接続されています。
計算実行時のノード間データ通信やストレージへのアクセスはInfiniBandにより行われます。
外部ネットワークからログインノードへのアクセスや、各ノードから外部ネットワークへの接続はEthernetにより行われます。
