OpenMediaVault7 (OMV7) で作る PC1台 54TB RAID5 システム【Part 1】

これまで、OpenMediaVault 5 (以後 OMV5) 、OpenMediaVault 6 (以後 OMV6) を使って RAID Z 、RAID Z2　を実現し、使ってまいりましたが、ディスクの使用容量が増えるにしたがって、動作に問題が生じて来ました。読み出し時に一瞬止まるのです。主に動画で再生時に詰まった様な動作になるのです。一時間の再生動画で 1-2 回以上は一瞬止まります。RAID Z, RAID Z2 はメモリー食いなのでメモリー不足なのかも知れません。それに、大容量のディスク装置も結局は殆ど NAS として使っているだけなので、今一 RAID Z, RAID Z2 の機能が生かしきれていません。・・で、ディスクの容量増大に伴って、軽いシステムである RAID5, RAID6 を OpenMedia 7 (以後 OMV7) で実現、全面的に移行します。後々出てきますが、OMVのダッシュボードで比べて見ると RAID5, RAID6 は RAID Z, RAID Z2 に比べて CPU、メモリーの負担が 数分の一 (1/2 〜 1/4) です。

システム作成の方針

蓄積容量が大きくなってもスムーズに読み出せる為には、同じ CPU・メモリーならば出来るだけ軽いシステムである必要があります。RAID Z, RAID Z2 → RAID 5, RAID 6 でシステムとして軽くなります、使用しない機能は、操作方法すら忘れてしまい、後々トラブルの原因になったりします。動作を軽くする為にも、出来るだけシンプルなシステムが望ましいのですが、必要な機能は入れたいので、ゆる～く、方針を決めて置きます。

使用ハードウェアは HP ProLiant MicroServer Gen8

まず、使用ハードウェアは当然ながら HP ProLiant MicroServer Gen8（以降 HP Gen8）を使用します。CUP は Intel Xeon E3-1220Lv2 2.3GHz（2コア / 4スレッド）Memory は 8GB を使用しましたが、後々の評価から Celeron G1610T 2.3GHz（1コア / 2スレッド）Memory 2GB 程度でも実用になりそうです。

基本は Openmediavault 7 + プラグインで…

色々な機能はWeb画面から管理したいので、可能な限り OMV7 + プラグイン（但し必要な機能のみとする）を使います。プラグインでは実現できない或いは使いにくい所 ( あくまで私見ですが…) や、システム全体連携が必要な所は Linux スクリプトを追加する事で実現します。

最終的にはシンプルシステムを目指しますが、実験時には プラグインカーネル入れ替え機能を、多用して RAIDに最適なカーネルを考えます。( カーネル入れ替え機能自体が update や upgrade 時にトラブルになったりするので、最終的にはアンインストールして置くのがお勧めです、必要ならば再インストールも可能です )

mdadm で 色々実験 ・・最終的には 54TB (RAID 5) を作成

mdadm ( Linux の RAID 5, 6 は大抵このソフトを使っており、もちろん OMV7も使っています。) を使った、RAID 操作に慣れる為に小さめのディスクで ( 大きいディスクだと単に時間が掛かりすぎるので…) 、ソフト的に色々組み換えて評価します。ディスクデータをキープしたまま、RAID 5  → RAID 6 或いは RAID 6 → RAID 5 とか ディスク 3台で RAID 5 → ディスク4台 で RAID 5 とか 幾つか操作してみて、必要な時間を評価します。最終的には、この記事内で RAID 5 (ディスク4台 18TB x 3 台 = 54TB + エラー訂正ディスク 1台) を作成します。また、次の記事では 2台連動で RAID 6 (ディスク8台 18TB x 6 台 = 108TB + エラー訂正ディスク 2台) を作成します。

運用時に役に立つツールを作成

私は NAS として使う場合に “日本語タイトル” や “日本語フォルダ” を多用しますので “ファイルやフォルダはスペースを含む日本語が自由に使える事” は重要な事です。日本語を使う事自体はさほど問題ないですが、ファイルの copy や move を rsyncで効率良く確実に行いたいのですが、 日本語フォルダやファイルも含めて、コマンドを打っていては面倒な事この上ないです。なので、( スペースも含んだ ) 日本語フォルダ多用システムの運用時に役に立つ、rsync ツールなども作ります。

必要なUSBメモリーは

ここで、実験も含めて必要な USBメリーについて書いておきます。

・インストーラー用 4GB 以上必要　最初のインストール時に使う
・鈴木のOMV7ベースセット用 32GB 以上が必要 backup 含めて複数作成しておくと良い
・実験用 OMV7 ←→ WindowsPC 間でデータの移動に使う。数百Kbyte以上 32GB以下

鈴木のOMV7 ベースセット

相変わらず変な章名ですが “鈴木のOMV7 ベースセット” をOMV7 で展開する NAS のベースとします。これから少し変形したり、付け足したりしてシステムを展開致します。BBルータの都合で、IPアドレスは 192.168.11.xx を ベースに展開致します。既にOMV6 で運用中なので、iLOアドレス 192.168.11.20～30 と 192.168.11.120～130 は使用中です。そこで、この記事の iLOの IPアドレスは 192.168.11.40 にします。まずは、 “鈴木のOMV7 ベースセット” を作って行きましょう。

OMV7 インストール

HP Gen8自体の説明 や OMV のインストールの仕方を詳しく説明しても従来記事の繰り返しになるので詳しくは OpenMediaVault6 (OMV6) で作る PC1台 24TB RAID Z システム【Part 1】から【Part 3】を参考にして頂くとして、ここでは、必要な情報を列挙する感じで説明して行きます。

OpenMediaVault ホームページから OMV7のインストーラーをダウンしましょう。 Home/iso から 7.x-xx.iso (2024_05_15 時点では 7.0-32 が最新) を選びます。ダウンロードしたら、Rufus を使って ISOイメージモードでインストラーUSBを作成します。インストーラーUSB は4GB以上あれば良いでしょう。

# nano /etc/default/grub

GRUB_CMDLINE_LINUX_DEFAULT="quiet"

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=off intremap=off"

# update-grub

システム → ワークベンチ → 自動的にログアウトを無効

ネットワーク → 一般 → ホスト名をopenmediavault → openmedia-41 に変更

ネットワーク → インターフェース  eno1を以下の様に編集して保存

 IPV4
  メソッド     : スタティック
  アドレス     : 192.168.11.41
  ネットマスク : 255.255.255.0
  ゲートウェイ : 192.168.11.1

 高度な設定
  DNSサーバー  : 192.168.11.1

root@openmedia-41:~# nano .profile

LANG=C      を LANG=ja_JP.UTF-8     に変更します。
LANGUAGE=C　を LANGUAGE="ja_JP:ja"  に変更します。

# apt-get install man

# apt-get install manpages-ja

 # wget -O - https://github.com/OpenMediaVault-Plugin-Developers/packages/raw/master/install | bash

システム → プラグイン → openmediavault-flashmemory 7.x を選んでインストール

システム → プラグイン → openmediavault-kernel 7.x.x をインストール

システム → カーネル → Proxmox(画像) → Install Proxmox kernel x.x

Debian GNU/Linux, with Linux 6.8.4-3-pve    (以降 pve 6.8)
Debian GNU/Linux, with Linux 6.5.13-5-pve   (以降 Pve 6.5)
Debian GNU/Linux, with Linux 6.2.16-20-pve  (以降 pve 6.2)
Debian GNU/Linux, with Linux 6.1.0-21-amd64 (以降 amd64-21)
Debian GNU/Linux, with Linux 6.1.0-18-amd64 (以降 amd64-18)

# apt-get update

# apt-get upgrade

[Unit]
Description=電源 on 時処理
After=network.target

[Service]
Type=oneshot
ExecStart=/sbin/StartUptime.sh

[install]
WantedBy=graphical.target

#!/bin/bash  

PATH=/usr/sbin:/usr/bin:/sbin:/bin

LOG_SAVE=/var/log/installer/StartUptime_log
date > $LOG_SAVE

# systemctl enable StartUptime.service

/var/log/installer/StartUptime_log が有れば削除して再起動します。再起動後 StartUptime_log を確認して下さい。起動日・時間が書き込まれていれば OK です。

ついでに StartUptime.service、StartUptime.sh の実行タイミングも見ておきましょう。用意した実験用USB を挿入して ( /dev/sdb になるはず)、/mnt 下にマウントして

# systemd-analyze plot > /mnt/plot_01.svg

これを WinPC の Webブラウザで確認してみましょう。StartUptime.service を探してみて下さい。一通りみておくと今後に参考になるはずです。

これで、“鈴木のOMV7 ベースセット” 作成完了。以降、これを色々展開します。

鈴木のOMV7 ベースセットをコピーする

鈴木のOMV7ベースセットができまたので、バックアップ、予備、など幾つかコピーしておきましょう。従来はdd コマンドを直接、書いてコピーしていましたが、今回は dd コマンドをベースに コピーコマンド UsbCopy.sh を作りました。/sbin/ 下に置きます。実行フラグを忘れずに付けて下さい。

#!/bin/bash

# UsbCopy.sh  ( Usb memory Copy program )

PATH=/usr/sbin:/usr/bin:/sbin:/bin

if [ $# != 2 ]; then
    echo ""
    echo " (例) UsbCopy.sh <From device> <To device> "
    echo " (例) UsbCopy.sh sdb sdc "
    echo ""
fi

if [ $# = 2 ]; then
    dd if=/dev/$1 of=/dev/$2 bs=1024k status=progress
fi

# lsblk -d -b 

# UsbCopy.sh  sdb  sdc

#!/bin/bash

# _DiskId.sh   ( Disk by-Id return program )

DISK0=/dev/disk/by-id/ata-MB2000GCWDA_S1X0LRA7
DISK1=/dev/disk/by-id/ata-MB2000GCWLT_P2GYRK0J
DISK2=/dev/disk/by-id/ata-MB2000GCWLT_P6J99KUX
DISK3=/dev/disk/by-id/ata-MB2000GFEMH_N4G26G7Y

PATH=/usr/sbin:/usr/bin:/sbin:/bin

if [ $1 = 0 ]; then
    echo $DISK0
fi
if [ $1 = 1 ]; then
    echo $DISK1
fi
if [ $1 = 2 ]; then
    echo $DISK2
fi
if [ $1 = 3 ]; then
    echo $DISK3
fi

#!/bin/bash

# DiskInfo.sh   ( Disk-Information program )

PATH=/usr/sbin:/usr/bin:/sbin:/bin

DISK0=$(_DiskId.sh 0)
DISK1=$(_DiskId.sh 1)
DISK2=$(_DiskId.sh 2)
DISK3=$(_DiskId.sh 3)

echo -n "DISK0 : "; echo -n $DISK0; echo -n " → "; readlink $DISK0
echo -n "DISK1 : "; echo -n $DISK1; echo -n " → "; readlink $DISK1
echo -n "DISK2 : "; echo -n $DISK2; echo -n " → "; readlink $DISK2
echo -n "DISK3 : "; echo -n $DISK3; echo -n " → "; readlink $DISK3

RAID用に MDプラグインをインストールします。

システム → プラグイン → openmediavault-md 7.x-x をインストール

# mkfs -t ext4 /dev/md0

# mkdir /array-0
# mount /dev/md0 /array-0

#!/bin/bash

# StartUptime.sh ( StartUp timing program )

PATH=/usr/sbin:/usr/bin:/sbin:/bin

DISK0=$(_DiskId.sh 0)
DISK1=$(_DiskId.sh 1)
DISK2=$(_DiskId.sh 2)
DISK3=$(_DiskId.sh 3)

LOG_SAVE=/var/log/installer/StartUptime_log
LOG_DUST=/var/log/installer/StartUptime_dst

date > $LOG_SAVE

mdadm -As /dev/md0 $DISK0 $DISK1 $DISK2 $DISK3

mount /dev/md0 /srv/dev-disk-by-uuid-6ef464aa-d2e4-424a-9267-736ddd521b69
mount /dev/md0 /array-0