Category Archives: カスタマイズ事例

HAクラスタ・NFSサーバでSTONITH機能の動作検証 (スプリットブレイン阻止)

POWER MASTER Server S4200には、3.5インチを4台と2.5インチを1台搭載でき、LANポートを4つとIPMI2.0準拠のマネージメントコントローラ用LANポートを1つ備えています。

S008 ラックマウント キットを使うと、1UスペースにPOWER MASTER Server S4200を2台搭載出来るので、HAクラスタ・NFSサーバを構築し、障害時の動作確認を行いました。
◎ 環境
ディスク構成

120GB SSD x1台 (CentOS6.5 x86_64をインストール。)
4TB HDD x4台 (ソフトウェアRAID5を構築。)

ネットワーク

bond0 (eth0とeth1でbond0を設定。)
eth2,eth3 (死活確認用。eth3はDRBD同期用も兼ねる。)
IPMIポート (STONITH機能で利用。)

HAクラスタ用ソフトウェア

DRBD8.4
Pacemaker+Heartbeat (Pacemakerリポジトリパッケージ (RHEL6) (1.0.13-1.2))

ネットワーク構成図

想定した故障は、LANポート故障により2台のサーバ間で死活確認が出来なくなった場合で、その際、STONITH機能により実行されるスタンバイサーバ再起動の確認です。
構築したクラスタは、アクティブ/スタンバイ型のHAクラスタです。各サーバのeth2ポートとeth3ポートを利用して死活確認を行っています。
片方のサーバのeth2ポートとeth3ポート、server1のeth2ポートとserver2のeth3ポートなどいくつか組み合わせパターンが考えられますが、eth2ポートとeth3ポートが同時に正常に動作しなくなると、死活確認が出来なくなります。

死活確認が出来なくなっているだけで、アクティブサーバは停止しておらず、NFSサービスが継続して動作しています。
スタンバイサーバは、アクティブサーバが停止したと判断して、アクティブサーバへの昇格しようとします。もし、昇格するとサービスが二重起動するスプリットブレインが起きてしまいます。
スプリットブレインを防ぐために、STONITH機能によりアクティブサーバがスタンバイサーバを再起動させます。

以下は、pacemakerのCRM設定(一部)です。


primitive prmHelper1-1 stonith:external/stonith-helper ¥
params priority=”1″ stonith-timeout=”80s” hostlist=”server1″ dead_check_target=”IP addresses” run_standby_wait=”yes” standby_check_command=”/usr/sbin/crm_resource -r res_IPaddr2_1 -W | grep -q `hostname`” ¥
op start interval=”0s” timeout=”60s” ¥
op monitor interval=”10s” timeout=”60s” ¥
op stop interval=”0s” timeout=”60s” ¥
meta target-role=”started”
primitive prmIpmi1-2 [...]

SSDキャッシュ(flashcache)の効果をベンチマークソフトIOzoneで検証してみました

ミニタワー型のシステムPOWER MASTER NAS M8170へは最大2台の2.5インチHDD/SSDの追加搭載が可能で、2.5インチHDD/SSDを追加するとOS用ドライブ、SSDキャッシュ用などに用途に合わせて色々な使い方が出来ます。

POWER MASTER NAS M8170へSSDキャッシュを追加した場合の効果を簡単に調べてみました。
SSDキャッシュには色々な種類があり、ここでいくつかの例を紹介しています。用途や求める性能、予算により選択することが出来ます。

RAIDコントローラやS-ATAコントローラへSSDを取り付ける方法(LSI CacheCade、HighPoint Rocket Hybrid)
Intel製チップセットの機能を利用する方法(Intel Smart Response Technology)
ソフトウェアのみでSSDキャッシュとして利用する方法(flashcache)

POWER MASTER NAS M8170標準構成では、NAS専用OS「FreeNAS」をインストールしており、FreeNASでもSSDキャッシュを利用出来ます。
用途に応じてOSを変更することも出来るので、今回、CentOS6.5へ変更しFlashcacheを利用しました。
Flashcacheのバージョンは、昨年秋に公開されたバージョン3系最新版です。
https://github.com/facebook/flashcache/
◎ 検証で利用した環境
POWER MASTER NAS M8170には3.5インチHDDを4台搭載出来るので、HDD1にはOSをインストールし、HDD2~HDD4でソフトウェアRAID5構築(EXT4でフォーマット、/mntへマウント)しました。
2.5インチHDD/SSDの追加スペースにはSSDを1台取り付け、ソフトウェアRAID5ボリュームのSDDキャッシュとして設定しました。(キャッシュモードはwriteback、キャッシュサイズは40GBで構築しました。)

Xeon E3 1230V3
メモリ 4G
HGST HDS723020BLA642 x1個 (OSインストール)
Intel 520 x1個(キャッシュ用SSD)
HGST HDS723020BLA642 x3個 (ソフトウェアRAID5)

# mdadm –create /dev/md0 –level=5 –raid-devices=3 /dev/sd[cde]
# mkfs.ext4 /dev/md0
# flashcache_create -p back -s 40g cachedev /dev/sdb /dev/md0
# mount /dev/mapper/cachedev /mnt

falashcache設定後、ベンチマークソフトIOzoneでRandom Read / Random Write を計測してみました。

# iozone [...]

Acpupsd と APC SMTシリーズ UPS

ApcupsdでAPC Smart-UPSの新しいモデル SMTシリーズが動作するか実験してみました。
環境は以下
UPS: APC Smart-UPS SMT1500RMJ2U
通信ケーブル: USB
OS: CentOS 6.4 x86_64
Apcupsd: 3.14.10
SMT1500RMJ2Uに専用のシリアルケーブルは付属されていますが、どうもApcupsdでは動作しないようだ。SMT/SMXシリーズは、新しい通信プロトコル”Microlink”になっていて、Apcupsdは現状ではサポートされていないようです。
ただしUSB接続であれば、基本的な動作(停電時のバッテリモードから復電)は可能みたいです。
Apcupsdはsourceからインストール
configureオプションにUSBを追加してmakeとmake installしました。
設定は以下のみ追加
TIMEOUT 60
デーモンをstartすると、UPSとの通信は成功しているログが出ています。
コンセントを抜いて擬似停電を装い。。。
シャットダウンできました。
UPSがスタンバイ状態でコンセント接続し擬似復電するとサーバが起動しました。
基本的な動作は問題ないようです。
詳細な情報は取得できないようですが。。。
まぁ、良しとしましょう。

FreeNASによるZFSレプリケーション(ZFS Replication)について

FreeNASでZFSレプリケーションについて動作させてみました。
ZFSボリュームやZFSデータセットのZFS スナップショットを定期的/自動的にリモートサーバへ保存出来ます。
FreeNASをインストールしたサーバを2台を準備します。
●環境
MB: Gigabyte GA-E350N-USB3
HDD: 500GB
OS: FreeNAS-8.2.0-RELEASE-p1-x64
それぞれのサーバへZFSボリュームを作成(*1)し、ZFSスナップショット送信元となるサーバのSSH Public Keyを送信先となるサーバへ登録(*2)します。その後、送付先サーバのSSHサービスを実行(*3)します。
*1 メニューのStorage→Volume Managerより作成。
*2 ZFSスナップショット送信元のメニューのStorage → View Replication Tasks → View public keyを選択。
表示されたキーをZFSスナップショットの送信先サーバへコピー&ペーストします。
(メニューAccount → Users → View Users → rootユーザのModify Userを開き、SSH Public Keyの項目へ、SSH Public keyをペースト。)
*3 メニューServices → SSH → ON。
ZFSスナップショット送信元サーバで 定期的スナップショットのタスクを作成(メニューStorage → Periodic snapshot Tasksより設定)します。
ZFS スナップショットを15分、30分、1時間、2時間、3時間、4時間、6時間、12時間、1日、1週間 間隔で実行出来ます。また、開始時刻と終了時刻、実行する曜日も設定出来ます。ZFSボリュームやZFSデータセットのZFS スナップショットを定期的/自動的にリモートサーバへ保存出来ます。

ZFSスナップショット送信先を登録(メニューStorage → ZFS replicationを選択)します。
登録例では、ZFSスナップショット送信元のボリュームをlocal、送信先のボリュームをremoteとなっています。
(SSH KEY Scanボタンを押すと、自動的に送信先サーバのPublic Keyを取得できます。)

以上の操作により、ZFSスナップショットを定期的/自動的にリモートサーバへ保存出来きました。(下図)

FreeNASは導入しやすく、ZFSレプリケーションを利用するとリモートサーバへ容易にデータのバックアップ出来ます。欲を言えば、フェールオーバーやフェールバックも設定出来るならばもっと良いと思いました。

UEFIでデュアルブート(Dual Boot) と rEFInd

●環境
MB: Supermicro X9SCM-F
HDD: 500GB
OS: Windows7 SP1 64bit
OS: Ubuntsu 12.04 x86_64
OS: FedoraCore 17 x86_64
●インストール方法
UEFI: DVD
をBoot Optionの先頭にしてインストールを開始します。
ここで注意することは、UEFIモードのインストールに対応しているDVDを光学ドライブに入れると
UEFI: DVD
がBoot Optionにリストされてきます。
つまりUEFIモードに対応していないDVDはUEFIモードインストールできないということです。
最初にWindows7をインストールします。
Windows7をインストールするとEFI区画として100MB程度の区画が勝手に作られます。(通常のBIOSモードではこの区画は作られない)
次にUbuntsuをインストールする。このときに/boot/efiをこの100MB区画にマウント設定する。初期化してはダメ。
さらにFedoraCoreも同じく/boot/efiをこの区画にマウント設定する。もちろん初期化してはダメ。
ここまでくると、Boot Optionに

ubuntu
Fedora
Windows Boot Manager
という起動メニューがリストされます。
考え方としては、EFI区画の100MB(FATでないとダメ)に、それぞれのOSの起動に必要なファイルや設定などがインストールされる。
UEFIは、この区画の設定を自分自身に読み込んでBoot Optionに追加させている。で良いと思います。
ここでもう一つ。

rEFIndです。
これはUEFI対応のBoot Managerです。
インストールはLinuxから実行しました。インストールスクリプトが用意されています。
これも同じくEFI区画にインストールされ、Boot Optionに追加されます。OSと同じレイヤに存在しています。
Boot OptionでeEFIndを先頭にしておけば、Boot Managerが常に先に起動します。
rEFIndは、EFI区画を自動でscanして設定を追加してくれます。ただし余分な設定が入ってくる場合があるので少し調整が必要です。
でも、なかなかスタイリッシュですね。