MB: Supermicro X8QB6-F
Chipset: Intel 7500
CPU: Xeon E7540
MEM: 256GB (DDR3-1333 8GB ECC Reg x32)
MPI: openMPI
Compiler: gcc 4.1.2
Benchmark: himenoBMTxp
Size: L
4CPU 24core: 24450MFLOPS
MPI: openMPI
Compiler: gcc 4.1.2
Benchmark: himenoBMTxp
Size: XL
4CPU 24core: 28270MFLOPS
ちなみにHT込みの48分割では以下となります。
Size: L
15430MFLOPS
Size: XL
21260MFLOPS
■テスト環境
NFSサーバおよびNFSクライアント
MB: Supermicro X8DTi
Chipset: INTEL 5520
CPU: Xeon E5520 x1
MEM: 24GB (8GB DDR3-1333 Reg x 3)
インターコネクト
Infiniband DDR (20GBase): Mellanox MHGS18-XTC
(IPoIBにてHCAポートにIPアドレスを設定)
OS: CentOS 5.4 x86_64
ホストスタック: OFED 1.5.2
■環境設定
iSCSI Target
kernelパラメータ ramdisk_size=20971520 で起動し、20GBのramdiskをTargetとする。
iSCSI Initiator
kernelパラメータ mem=1024m で起動し、OS上のメモリ容量を1GBとする。 (クライアント側のpagecache効果を少なくするため)
iSCSI Targetデバイスのファイルシステムをext3にし/mntにマウントする。
■テスト方法
200MBファイルを連続50回書出しをするスクリプトを用意する。
#!/bin/sh
LOOP=50
DIR=/mnt
COUNT=0
while [ $COUNT -lt $LOOP ]
do
dd if=/dev/zero of=$DIR/$COUNT bs=32768 count=6400
let COUNT=COUNT+1
done
このスクリプトをtimeコマンドの引数として実行しreal値から速度を算出する。
■事前テスト
iSCSI Targetローカルでramdiskのファイルシステムをext3にして書込み速度を計測しておく。
計測方法は同じスクリプトを使う。
[TABLE=3]
ディスク側の律速がこの値まではないことを前提とする。
■結果
[TABLE=9]
■評価
速いです。すごいですね。
前回の計測結果では、OS標準のホストスタックを利用しました。
今回はOFED本家のホストスタックを利用して計測をしました。理由は最新のホストスタックに含まれる、iSER（iSCSI Extensions for RDMA）の高速なデータ転送での計測です。
環境構築の注意点としては、iSERが動作する環境はOSやカーネルバージョンの制限があることです。(OFEDドキュメントを参照)
今回はDDRにて計測をしましたが、ソフトウェア環境が同じでHCAをSDRでの計測も次回行いたいと思います。
最近のプロセッサはマルチコア技術により、マルチスレッド（並列処理）にて効果的な計算が可能になってきました。
では、シングルスレッド（逐次処理）ではどうでしょうか？
シングルスレッドで大量のメモリを消費するアプリケーションでは、ホストあたりに12コアも搭載されていても、実際に使用するコアは数個といったことも考えられます。
そこで、シングルスレッドの性能を比較することにしました。
Compiler: gcc 4.1.2
Benchmark: himenoBMTxp
Size: L
[TABLE=8]
マルチスレッドでは、Opteron 6174が圧倒的に優位であったことを考えると、CPUにも得意・不得意があり、使用するアプリケーションによりCPU選択することが重要…と今更ながら再認識しました。。。
■テスト環境
NFSサーバおよびNFSクライアント
MB: Supermicro X8DTi
Chipset: INTEL 5520
CPU: Xeon L5530 x2
MEM: 24GB (4GB DDR3-1333 Reg x 6)
インターコネクト
Infiniband SDR (10GBase): Mellanox MHES18-XTC
(IPoIBにてHCAポートにIPアドレスを設定)
OS: CentOS 5.5 x86_64
ホストスタック: CentOS 5.5 標準 OFED
（CentOS標準ホストスタックでは、IPoIBのMTU 1500がDefault値となっている。これをMTU 65520に設定変更をする。）
■環境設定
iSCSI Target
kernelパラメータ ramdisk_size=20971520 で起動し、20GBのramdiskをTargetとする。
iSCSI Initiator
kernelパラメータ mem=1024m で起動し、OS上のメモリ容量を1GBとする。 (クライアント側のpagecache効果を少なくするため)
iSCSI Targetデバイスのファイルシステムをext3にし/mntにマウントする。
■テスト方法
200MBファイルを連続50回書出しをするスクリプトを用意する。
#!/bin/sh
LOOP=50
DIR=/mnt
COUNT=0
while [ $COUNT -lt $LOOP ]
do
dd if=/dev/zero of=$DIR/$COUNT bs=32768 count=6400
let COUNT=COUNT+1
done
このスクリプトをtimeコマンドの引数として実行しreal値から速度を算出する。
■事前テスト
iSCSI Targetローカルでramdiskのファイルシステムをext3にして書込み速度を計測しておく。
計測方法は同じスクリプトを使う。
[TABLE=3]
ディスク側の律速がこの値まではないことを前提とする。
■結果
[TABLE=7]
■評価
ネットワーク性能測定ツール iperf では、SDRで7.7Gbps程度となっている。
Infinibandを利用したNFSの書込み速度でもSDRで275MB/sであったことも考えると、この環境ではIPでのデータ転送の律速がこのあたりにあるのかもしれない。
iSCSIストレージは、仮想化分野の発展とともに注目度が高まってきています。
高速なネットワークストレージとしてFC-SANは実績も多く有効な手段です。しかし多大なコストが必要とされることが多く導入が困難な場合も多いでしょう。
そこでInfinibandを利用したIP-SANです。高速なネットワークストレージでもありコスト面でも大きく有利と思います。
Infinibandも上位機種なHCAやSwitchは高額ですが、10Gbps SDR Single port HCAであれば導入しやすい価格です。
また、Switchに関しても10Gbps SDR 8portであればこれも導入しやすい価格です。
MB: Supermicro H8DGU-F
Chipset: AMD SR5670
CPU: Opteron 6174
MEM: 8GB (DDR3-1333 1GB ECC Reg x8)
MPI: openMPI
Compiler: gcc 3.4.6
Benchmark: himenoBMTxp
Size: L
2CPU 24core: 18200MFLOPS
■評価
クアッドメモリチャンネルとなりメモリ帯域の効果が現れているようだ。