Category Archives: PCクラスタ

AMD EPYC 7501 + 32GB DDR4-2666 性能評価

1CPU当たり32コアを持つEPYC 7501 x 2個と、32GB DDR4-2666 x 32枚(合計1024GB)を搭載するシステムPOWER MASTER Server S5081にて、姫野ベンチマークによる計測を行ってみました。
ちなみに、AMD EPYCには8coreのダイが4つパッケージに入っていて、各々のダイにはメモリ2chとPCIE x16 2本が接続できる構成となっているとのこと。1CPUでメモリ8chとPCIE x16 8本も持っているのです。
【環境】

CPU:EPYC 7501 x 2個
メインボード:Supermicro H11DSU-iN
メモリ:32GB DDR4-2666 ECC Registered x 32枚(合計1024GB)
OS:CentOS7.3 x86_64
【テスト】
① シングルスレッド評価
Compiler: gcc 7.2.1
Benchmark: himenoBMTxp_l(C, dynamic allocate version)
Size: L
② マルチスレッド評価
MPI: mpich3.2
Compiler: gcc 7.2.1
Benchmark: cc_himenoBMTxp_mpi(C + MPI, static allocate version)
Size: L、XL
【結果】

テスト(SIZE L)
スレッド数
Score(MFLOPS)

シングルスレッド評価
1
5034

マルチスレッド評価(実コアのみ)
64
88590

マルチスレッド評価(SMT有効)
128
71922

テスト(SIZE XL)
スレッド数
Score(MFLOPS)

マルチスレッド評価(実コアのみ)
64
92607

マルチスレッド評価(SMT有効)
128
72877

(SMT: Simultaneous MultiThreading)
Xeon E5-2680v4とEPYC 7501のシングルスレッド値で比較すると、 EPYC 7501は、Xeon E5-2680v4よりも 約1.35倍の高い結果となっています。
並列計算でもスレッド数64で良い結果となっていますが、スレッド数128では値が少し下がっていて、このあたりがメモリ帯域の限界ではなかろうか?
いずれにしても、すでに持っているバイナリ(アプリケーション)で、パフォーマンス向上を目指すならば、AMD [...]

HAクラスタ・NFSサーバでSTONITH機能の動作検証 (スプリットブレイン阻止)

POWER MASTER Server S4200には、3.5インチを4台と2.5インチを1台搭載でき、LANポートを4つとIPMI2.0準拠のマネージメントコントローラ用LANポートを1つ備えています。

S008 ラックマウント キットを使うと、1UスペースにPOWER MASTER Server S4200を2台搭載出来るので、HAクラスタ・NFSサーバを構築し、障害時の動作確認を行いました。
◎ 環境
ディスク構成

120GB SSD x1台 (CentOS6.5 x86_64をインストール。)
4TB HDD x4台 (ソフトウェアRAID5を構築。)

ネットワーク

bond0 (eth0とeth1でbond0を設定。)
eth2,eth3 (死活確認用。eth3はDRBD同期用も兼ねる。)
IPMIポート (STONITH機能で利用。)

HAクラスタ用ソフトウェア

DRBD8.4
Pacemaker+Heartbeat (Pacemakerリポジトリパッケージ (RHEL6) (1.0.13-1.2))

ネットワーク構成図

想定した故障は、LANポート故障により2台のサーバ間で死活確認が出来なくなった場合で、その際、STONITH機能により実行されるスタンバイサーバ再起動の確認です。
構築したクラスタは、アクティブ/スタンバイ型のHAクラスタです。各サーバのeth2ポートとeth3ポートを利用して死活確認を行っています。
片方のサーバのeth2ポートとeth3ポート、server1のeth2ポートとserver2のeth3ポートなどいくつか組み合わせパターンが考えられますが、eth2ポートとeth3ポートが同時に正常に動作しなくなると、死活確認が出来なくなります。

死活確認が出来なくなっているだけで、アクティブサーバは停止しておらず、NFSサービスが継続して動作しています。
スタンバイサーバは、アクティブサーバが停止したと判断して、アクティブサーバへの昇格しようとします。もし、昇格するとサービスが二重起動するスプリットブレインが起きてしまいます。
スプリットブレインを防ぐために、STONITH機能によりアクティブサーバがスタンバイサーバを再起動させます。

以下は、pacemakerのCRM設定(一部)です。


primitive prmHelper1-1 stonith:external/stonith-helper ¥
params priority=”1″ stonith-timeout=”80s” hostlist=”server1″ dead_check_target=”IP addresses” run_standby_wait=”yes” standby_check_command=”/usr/sbin/crm_resource -r res_IPaddr2_1 -W | grep -q `hostname`” ¥
op start interval=”0s” timeout=”60s” ¥
op monitor interval=”10s” timeout=”60s” ¥
op stop interval=”0s” timeout=”60s” ¥
meta target-role=”started”
primitive prmIpmi1-2 [...]

Intel Xeon Phi

いよいよIntel Xeon Phiが近づいてきました。
HPC向けの位置付けはNvidia Teslaなどと同じですが、phiはx86アーキテクチャという特徴があります。
GPGPUへの移行を躊躇していたユーザさんの考え方も変わるかもしれませんね。
phiは、PCI Express 3.0 へ接続する方式です。この点はTeslaとも同様です。
このあたり参考になります。

Gluster ベンチマーク

分散ファイルシステムが注目されています。
複数の実装がありますが、今回はGlusterを動かしてみました。
Glusterは、クラウド環境やHPC環境にも使える分散ファイルシステムです。
ローカルファイルシステムをエクスポートし、メタデータサーバが存在しないのも大きな特徴です。
今回は、かなりリッチな環境なので、参考程度にしかならないかも。。。
■テスト環境
●Glusterサーバ 3台
CPU: x5675 2個
MEM: 72GB
RAID: Areca 1280
HDD: 3TB 24台 RAID6
Infinband: Mellanox_QDR
Ethernet: Intel 82574L
OS: Centos 5.5 x86_64
Local Filesystem: XFS
DFS: Gluster 3.2.4
●Glusterクライアント 3台
CPU: x5675 2個
MEM: 72GB
HDD: 2TB 1台 OS用
Infinband: Mellanox_QDR
Ethernet: Intel 82574L
OS: Centos 5.5 x86_64
MPI: mpich2, mvapich2
Benchmark: IOR
ベンチマークは、IORを使いました。
IORは、分散ファイルシステム向けのベンチマークプログラムです。
特徴としては、MPIを使った並列プロセスからのI/O測定ができます。
測定結果は最大値で出てくるようです。(Max Write, Max Read)
IORのパラメータが妥当かどうか?の問題がありますが、ネット上にあった情報を元にして実行しました。
使ってみてわかったのですが、IORは実行側ホストのキャッシュをほとんど使わないようです。
比較は以下としました。
Gigabit ストライプ型(72GBメモリ) VS infiniband ストライプ型(72GBメモリ)
infiniband ストライプ型(2GBメモリ) VS infiniband ストライプ型(72GBメモリ)
infiniband ストライプ型(72GBメモリ) VS infiniband 分散型(72GBメモリ)
infiniband ストライプ型(2GBメモリ) VS infiniband [...]

Open Grid Scheduler

Oracle がGrid Engineプロジェクトを停止し、Open Grid SchedulerプロジェクトがOpen Grid Scheduler として新にリリースしています。
Open Grid Scheduler
サポートしているプラットフォ-ムは以下です。

AIX
BSDs, including FreeBSD & NetBSD, on most of the architectures supported by the operating systems
HP-UX on IA64 and PA-RISC
IRIX
Linux on Alpha, ARM, IBM POWER & PowerPC, IBM System z mainframe, IA64, MIPS & Loongson, SPARC, x86, and x86-64
Mac OS X
Solaris on SPARC, x86, and x86-64
Tru64
Windows

当社では、Linux x86,  [...]