iWARP (Internet Wide-Area RDMA Protocol) は、TCP/IPネットワーク経由でRDMAを実装するネットワークプロトコルです。

前回の記事

Chelsio NICは、ドライバ ダウンロードしてmake一発で環境構築できるので楽ですが、Intel NICはどうもそう楽ではなさそう。
ドキュメントをなんとなく見たところ、どうやら 3つのソフトウェア構成が必用そうです。
・NICドライバ
・NIC RDMAドライバ
・RDMA Coreライブラリ

簡単に環境構築できることは楽で良いですが、もう少し手間を学んだほうが良いのでしょう。

つづく

iWARP (Internet Wide-Area RDMA Protocol) は、TCP/IPネットワーク経由でRDMAを実装するネットワークプロトコルです。

前回の記事

iWARP対応しているNICはどこのメーカーか？
ザックリ調べてみたところ以下
Intel
Chelsio
Marvell
それ以外もあるかもしれない。

ChelsioはiWARPに関して様々なドキュメントやホワイトペーバーが用意されており安心感があります。実際に以下OSをインストールしてみましたが、特に悩まず動作環境を構築できました。

CentOS 7
Rocky Linux 8
Rocky Linux 9
Ubuntu Desktop 20.04
Ubuntu Server 20.04

Chelsioドライバは以下よりダウンロードできます。
https://service.chelsio.com/
2023年5月30日時点での最新Linuxドライバ バージョンは v3.18.0.0 です。

ドライバ ダウンロードし解凍したディレクトリで
$ make list_kernels
実行するとサポートカーネルバージョンのリストが見れます。
（以下 Ubuntu Server 20.04 に関係しそうな部分のみ抜粋）
$ make list_kernels
5.4.0-26-generic
5.4.0-54-generic
5.4.0-65-generic
5.4.0-81-generic
5.4

例えば Ubuntu Server 20.04 の現時点での最新カーネルバージョンは
5.4.0-149-generic
です。
最後の 5.4 の範囲でサポートされているようです。

つづく

iWARP (Internet Wide-Area RDMA Protocol) は、TCP/IPネットワーク経由でRDMAを実装するネットワークプロトコルです。

従来よりHPC分野では、大量のデータを使い演算処理をする大規模計算をサポートするインターコネクトとしてInfinibandが広く採用されてきています。
しかしここ最近では、Infiniband以外にもiWARPやRoCEなども採用される事例が多くなってきています。

そこでiWARPの動作検証をしてみました。
比較方法は、2台の計算機の最大スコアを想定し
1GBps
Infiniband
10Gbps iWARP
のスコアを比較します。

まず以下構成の計算機を2台用意する。

【環境】
●ハードウェア環境
CPU: Intel Xeon Gold 6258R CPU 28Core x1
MEM: 16GB DDR4-2933 x6

●ソフトウェア環境
OS: Ubuntu Server 20.04
MPI: Openmpi 4.1.1
GCC: 9.4.0
Benchmark: cc_himenoBMTxp_mpi（C + MPI, static allocate version）Size=L

【テスト】
●準備計測
まず前提となる最大値を計測する。
計算機1台でのスコアは以下。

・28core without HT N=28
MFLOPS measured : 48898.718831
MFLOPS measured : 48306.170793
MFLOPS measured : 48640.000116
MFLOPS measured : 48399.317924
MFLOPS measured : 48277.031488

平均 48504.2478304 MFLOPS

同構成マシン２台なので最大期待スコアはシンプルに2倍とする。

48504.2478304 MFLOPS x2 = 97008.4956608 MFLOPS
最大期待値   97008.4956608 MFLOPS

●計測
ここからはインターコネクト越しに2台のマシンで計測する。

■ １Gbps TCP（オンボード Intel 1Gbps NIC）
・56core without HT N=56
MFLOPS measured : 80623.366818
MFLOPS measured : 80866.794020
MFLOPS measured : 81248.198197
MFLOPS measured : 81189.602887
MFLOPS measured : 80827.159099

平均 80951.0242042 MFLOPS

平均 80951.0242042 MFLOPS ÷ 最大期待値   97008.4956608 MFLOPS ≒ 83.4%
※ 計測時のおおよそなシステムプロセス値 10%ほど

■ Infiniband QDR（Mellanox QDR）
・56core without HT N=56
MFLOPS measured : 96102.390695
MFLOPS measured : 96600.515094
MFLOPS measured : 96122.006927
MFLOPS measured : 95872.529788
MFLOPS measured : 96135.243922

平均 96166.5372852 MFLOPS

平均 96166.5372852 MFLOPS ÷ 最大期待値   97008.4956608 MFLOPS ≒ 99.1%
※ 計測時のおおよそなシステムプロセス値 0.1%ほど

■ 10Gbps iWARP（Chelsio 10Gbps NIC）
・56core without HT N=56
MFLOPS measured : 95879.634238
MFLOPS measured : 95465.368767
MFLOPS measured : 94577.077169
MFLOPS measured : 94201.079737
MFLOPS measured : 94704.609024

平均 94965.553787 MFLOPS

平均 94965.553787 MFLOPS ÷ 最大期待値   97008.4956608 MFLOPS ≒ 97.8%
※ 計測時のおおよそなシステムプロセス値 0.1%ほど

【評価】
姫野ベンチマークは、大規模計算までならないとしても軍配はInfinibandでした。さすがです。
ですが10Gbps iWARPも良い結果でした。
最大期待値の97.8%のスコアも良かったですが、計測時のシステムプロセス値 が驚くほど低く0.1%であったことはビックリでした。
計算機環境が小規模であり、コストに見合うのであれば1GbpsよりiWARPを選択するのも悪くなさそうです。

つづく