InfinibandによるiSCSIの書込み速度

Infiniband SDR HCA
■テスト環境
NFSサーバおよびNFSクライアント
MB: Supermicro X8DTi
Chipset: INTEL 5520
CPU: Xeon L5530 x2
MEM: 24GB (4GB DDR3-1333 Reg x 6)

インターコネクト
Infiniband SDR (10GBase): Mellanox MHES18-XTC
(IPoIBにてHCAポートにIPアドレスを設定)

OS: CentOS 5.5 x86_64
ホストスタック: CentOS 5.5 標準 OFED
(CentOS標準ホストスタックでは、IPoIBのMTU 1500がDefault値となっている。これをMTU 65520に設定変更をする。)

■環境設定
iSCSI Target
kernelパラメータ ramdisk_size=20971520 で起動し、20GBのramdiskをTargetとする。

iSCSI Initiator
kernelパラメータ mem=1024m で起動し、OS上のメモリ容量を1GBとする。 (クライアント側のpagecache効果を少なくするため)
iSCSI Targetデバイスのファイルシステムをext3にし/mntにマウントする。

■テスト方法
200MBファイルを連続50回書出しをするスクリプトを用意する。

#!/bin/sh
LOOP=50
DIR=/mnt

COUNT=0
while [ $COUNT -lt $LOOP ]
do
dd if=/dev/zero of=$DIR/$COUNT bs=32768 count=6400
let COUNT=COUNT+1
done

このスクリプトをtimeコマンドの引数として実行しreal値から速度を算出する。

■事前テスト
iSCSI Targetローカルでramdiskのファイルシステムをext3にして書込み速度を計測しておく。
計測方法は同じスクリプトを使う。
[TABLE=3]

ディスク側の律速がこの値まではないことを前提とする。

■結果
[TABLE=7]

■評価
ネットワーク性能測定ツール iperf では、SDRで7.7Gbps程度となっている。
Infinibandを利用したNFSの書込み速度でもSDRで275MB/sであったことも考えると、この環境ではIPでのデータ転送の律速がこのあたりにあるのかもしれない。

iSCSIストレージは、仮想化分野の発展とともに注目度が高まってきています。
高速なネットワークストレージとしてFC-SANは実績も多く有効な手段です。しかし多大なコストが必要とされることが多く導入が困難な場合も多いでしょう。
そこでInfinibandを利用したIP-SANです。高速なネットワークストレージでもありコスト面でも大きく有利と思います。
Infinibandも上位機種なHCAやSwitchは高額ですが、10Gbps SDR Single port HCAであれば導入しやすい価格です。
また、Switchに関しても10Gbps SDR 8portであればこれも導入しやすい価格です。