ハードウェア

Phase2:ゲノム医科学用供用スーパーコンピュータ

ハードウェア構成

ToMMo Phase2システムは3つの区画から構成されます。
UnitA:公開区画
UnitB:分譲・共同利用区画
UnitC:解析区画

区画ごとに違いがある部分もありますが、
ハードウェアの概要は以下のとおりです。

(1)3区画共通

■ログインノード(旧名称ゲートウェイノード) 8台/1区画

  • 機種: HPE ProLiant DL360 Gen10
  • O S: RHEL 7.4
  • CPU: Xeon 4116 2.1GHz (12core) x 2 socket
  • メモリ: 128GB
  • HDD: 300GB (10000rpm) SAS x 3 (RAID1+スペア1本)

写真

■計算ノードA 92台/1区画 ※96GBメモリ搭載

  • 機種: HPE ProLiant XL170r Gen10
  • O S: CentOS 7.4
  • CPU: Xeon 4116 2.1GHz (12core) x 2 socket
  • メモリ: 96GB
  • HDD: 300GB (10000rpm) SAS x 2 (RAID1)

写真

■計算ノードB 8台/1区画 ※192GBメモリ搭載

  • 機種: HPE ProLiant XL170r Gen10
  • O S: CentOS 7.4
  • CPU: Xeon 4116 2.1GHz (12core) x 2 socket
  • メモリ: 192GB
  • HDD: 300GB (10000rpm) SAS x 2 (RAID1)

写真

■共有メモリ型計算機 1台/1区画

  • 機種: HPE ProLiant DL560 Gen10
  • O S: RHEL 7.4
  • CPU: Xeon 6130 2.1GHz (16core) x 4 socket
  • メモリ: 3,072GB
  • HDD: 600GB (10000rpm) SAS x 2 (RAID1)

写真

■GPU解析サーバ 1台/1区画

  • 機種:Nvidia DGX-1 (Volta)
  • O S: Ubuntu
  • CPU: Xeon E5-2698v4 2.2GHz (20core) x 2 socket
  • メモリ: 512GB
  • SSD: 1.92GB x 4 (RAID0)
  • GPU:Volta V100×8/1台あたり

写真

(2)解析区画のみ

■データベースノード 24台

  • 機種: HPE ProLiant DL360 Gen10
  • O S: CentOS 7.4
  • CPU: Xeon 4116 2.1GHz (12core) x 2 socket
  • メモリ: 128GB
  • HDD: 300GB (10000rpm) SAS x 3 (RAID1 + スペア1本)
  • SSD: 960GB

写真

(3)大容量分散ストレージ(並列ファイルシステム)

■公開区画(Unit-A、40G高速Ethernet)

  • Lustre FileSystem:3PB

 

■分譲・共同利用区画(Unit-B、40G高速Ethernet)

  • Lustre FileSystem:4PB

  • GPFS(IBM Spectrum Scale):2PB

 

■解析区画(Unit-C、4x FDR/EDR InfiniBand)

  • Lustre FileSystem:12PB

 

写真

(4)FibreChannelストレージ

  • Hitachi Virtual Storage Platform G400
  • <シンクライアント用>SAS1.8TB 領域
  • <シンクライアント用>SSD3.8TB 領域
  • <Webサーバ、解析ログイン用>SAS10TB 領域

写真

(5)テープライブラリ

  • TS4500テープライブラリ
  • TS1155×8ドライブ
  • JDカートリッジ(非圧縮時15TB)×1000本

写真

 

 


Phase1:大規模ゲノムコホート解析システム

ハードウェア構成

バイオインフォマティクスやメディカルインフォマティクスにおいては、次世代シーケンサデータを中心とした大量の各種実験データを短時間に効率良く処理する必要があることから主にバッチ型ジョブシステムで計算処理を行います。
ToMMoのスーパーコンピュータは、特にゲノムのシークエンサから取得される塩基配列情報から変異コールや関連解析などを800台のPCクラスタ型のスーパコンピュータでおこなっています。また、同分野においてはde novoアセンブルなどメモリを大量に必要とするソフトウェアもあります。そのため、2TBのメモリを有する共有メモリ型計算機を導入しています。これら、合計で16,480個の高性能CPUコアを有し、総合理論演算性能は401TFLOPSとなっています。
ToMMoでは次世代シーケンサデータの大規模解析を高精度でおこなうための独自パイプラインと匿名化されたコホート情報とゲノム情報を統合した統合・知識データベースを開発、運用しています。これにより数千人に及ぶ日本人ゲノムの情報解析、関連解析を可能にします。

1. 計算ノード

SL230s Gen8 672ノード

  • Intel Xeon E5-2680v2 (2ソケット、計20CPUコア)
  • 128GBメモリ

SL250s Gen8 64ノード

  • Intel Xeon E5-2680v2 (2ソケット、計20CPUコア)
  • 128GBメモリ

SL250s Gen8 64ノード

  • Intel Xeon E5-2680v2 (2ソケット、計20CPUコア)
  • 256GBメモリ

写真

2. 共有メモリ型計算機

DL580s Gen8 8 ノード (60CPU コア, 2TB メモリ)

  • Intel Xeon E7-4870v2 (4 ソケット, 計60CPU コア)
  • 2TB メモリ

写真

3. ゲートウェイノード

DL380p Gen8 32 ノード

  • Intel Xeon E5-2680v2 (2 ソケット, 計20CPU コア)
  • 128GB メモリ

DL580_Gen8_bezel_FT2

4. 高速ストレージ

SFA12K-40 8set 計19.4PB ( 最大50PB まで拡張可能) SFA12K-40は、1コントローラあたり16本のInfiniBand FDR接続ポートと、32GBのキャッシュメモリを搭載し、これをデュアルコントローラで構成しています。ファイルシステムとして並列型共有ファイルシステム「Lustreファイルシステム」を採用しています。

写真

5. テープライブラリ

バックアップ容量12.1PB(最大30PB まで拡張可能) スーパーコンピュータシステムで扱う重要な解析データを、災害などから守る砦となるのが、このテープライブラリです。

写真

 

 

 

GWノード 32nodes
計算ノード 800nodes
その他ノード 194nodes
合計CPUコア数 20,672core
論理演算能力 496TFLOPS
Lustreストレージ容量 19.4PB
ニアラインストレージ容量 550TB
バックアップテープ容量 12.1PB