PATHpilotのブログ

Spectrum Scale Data Management 5.0.5.2をCentOS7.7にインストールする。

Kubernetesのインストールの後での作業。

まずは前さばき作業から。

FirewallとSELINUXの停止

# systemctl stop firewalld
# systemctl disable firewalld
# vi /etc/selinux/config
以下のように行を修正する。
SELINUX=disabled

# setenforce 0

Local DNSへの自分の登録
Local DNSをアクセスするように自分の設定

vi /etc/NetworkManager/NetworkManager.conf
mainセクションにdns=noneを追加する。

[main]
#plugins=ifcfg-rh,ibft
dns=none <<< これを追加

systemctl restart NetworkManager
# vi /etc/resolv.conf

# Generated by NetworkManager
nameserver 192.168.1.250 <<< Local DNSのアドレスを追加する。
nameserver 192.168.1.1

# nmcli c mod ens160 ipv4.dns ""
# systemctl restart NetworkManager
# nmcli d show によってIP4.DNSが消去されていることを確認する。

自分のサーバー名がResolveされることを確認する。
# nslookup snode-1.pathpilot.local
Server: 192.168.1.250
Address: 192.168.1.250#53

Name: snode-1.pathpilot.local ## verify myself is resolved.
Address: 192.168.1.121

NTP同期確認
# systemctl restart chronyd
# timedatectl
VMをサスペンド/リジュームすると同期が止まるので、リジューム後には毎回restartの必要がある。

パスワード無しSSHの構成
自分のところで鍵を作り、その鍵をScale Clusterに参加する自分を含むすべてのノードにコピーする。
# ssh-keygen -t rsa
# ssh-copy-id root@snode-1.pathpilot.local
# ssh-copy-id root@snode-2.pathpilot.local
# ssh-copy-id root@sgui.pathpilot.local
# ssh-copy-id root@worker1.pathpilot.local
# ssh-copy-id root@worker2.pathpilot.local

自分を含む全てのノードにパスワード無しでSSH出来ることを確認する。
# ssh snode-1.pathpilot.local date

Scaleのインストール

スケールモジュールのインストールとビルド
CentOS 7.7の場合、最新のkernel-develを入れるとmmbuildgplがエラーとなるのでベースのレベルにする必要がある。
その為、以下のrpmをCentOSのリポジトリからダウンロードしてインストールする。
# rpm -ihv kernel-devel-3.10.0-1062.el7.x86_64.rpm
それ以外のモジュールは最新を入れる。
# yum -y install cpp gcc gcc-c++ binutils ksh m4

CentPS8の場合はこの問題は起きない（2020年8月時点）ので以下だけの実行でよい。
# yum -y install kernel-devel cpp gcc gcc-c++ binutils ksh m4

# chmod u+x Spectrum_Scale_Data_Management-5.0.5.2-x86_64-Linux-install
# ./Spectrum_Scale_Data_Management-5.0.5.2-x86_64-Linux-install --silent

# cd /usr/lpp/mmfs/5.0.5.2/gpfs_rpms
# rpm -ivh gpfs.adv* gpfs.base*.rpm gpfs.docs*.rpm gpfs.gpl*.rpm gpfs.gskit*.rpm gpfs.msg*.rpm gpfs.license*.rpm gpfs.compression*.rpm gpfs.crypto*.rpm

# export LINUX_DISTRIBUTION=REDHAT_AS_LINUX
# /usr/lpp/mmfs/bin/mmbuildgpl

以降の作業のためにパス設定を行う。
# export PATH=$PATH:/usr/lpp/mmfs/bin
恒久的に設定するために、自分のホームディレクトリ内の.bash_profileを編集し、PATH=$...を追記する。

Scale構成作業

1. Configure Cluster
mmcrcluster
# mmcrcluster -N snode-1.pathpilot.local:quorum-manager,snode-2.pathpilot.local:quorum-manager,sgui.pathpilot.local,worker1.pathpilot.local,worker2.pathpilot.local --ccr-enable -r /usr/bin/ssh -R /usr/bin/scp -C gpfscluster1

2. Apply License
mmchlicense
# mmchlicense server --accept -N snode-1.pathpilot.local,snode-2.pathpilot.local
# mmchlicense client --accept -N sgui.pathpilot.local,worker1.pathpilot.local,worker2.pathpilot.local

3. Start up cluser
mmstartup
# mmstartup -a

4. Edit Stanza file
NSDを定義するStanzaファイルを編集する

ダウンロード - snode1.nsd

5. Create NSD
mmcrnsd
# mmcrnsd -F /root/work/snode1.nsd

6. Create Filesystem
mmcrfs
# mmcrfs gpfsfs01 -F /root/work/snode1.nsd -B 256K -D posix -k all

7. Mount filesystem
mmmount
# mmmount gpfsfs01 -a
# mmlsmount gpfsfs01 -L

以降、実際のコマンド実行記録
[root@localhost gpfs_rpms]# mmcrcluster -N snode-1.pathpilot.local:quorum-manager,snode-2.pathpilot.local:quorum-manager,sgui.pathpilot.local,worker1.pathpilot.local --ccr-enable -r /usr/bin/ssh -R /usr/bin/scp -C gpfscluster1

[root@localhost gpfs_rpms]# mmchlicense server --accept -N snode-1.pathpilot.local,snode-2.pathpilot.local

[root@localhost gpfs_rpms]# mmchlicense client --accept -N sgui.pathpilot.local,worker1.pathpilot.local

[root@localhost gpfs_rpms]# mmlscluster

GPFS cluster information
========================
GPFS cluster name: gpfscluster1.pathpilot.local
GPFS cluster id: 1593904468708199996
GPFS UID domain: gpfscluster1.pathpilot.local
Remote shell command: /usr/bin/ssh
Remote file copy command: /usr/bin/scp
Repository type: CCR

Node Daemon node name IP address Admin node name Designation
------------------------------------------------------------------------------------
1 snode-1.pathpilot.local 192.168.1.121 snode-1.pathpilot.local quorum-manager
2 snode-2.pathpilot.local 192.168.1.122 snode-2.pathpilot.local quorum-manager
6 sgui.pathpilot.local 192.168.1.123 sgui.pathpilot.local
7 worker2.pathpilot.local 192.168.1.133 worker2.pathpilot.local
8 worker1.pathpilot.local 192.168.1.132 worker1.pathpilot.local

[root@localhost gpfs_rpms]#

[root@localhost gpfs_rpms]# /usr/lpp/mmfs/bin/mmstartup -a
2020年 8月 24日 月曜日 06:17:18 JST: mmstartup: Starting GPFS ...

[root@localhost gpfs_rpms]# mmgetstate -a

Node number Node name GPFS state
-------------------------------------------
1 snode-1 active
2 snode-2 active
6 sgui active
7 worker2 active
8 worker1 active
[root@localhost gpfs_rpms]#

[root@localhost gpfs_rpms]# cd /root
[root@localhost ~]# mmcrnsd -F /root/work/snode.nsd
mmcrnsd: Processing disk sdb
mmcrnsd: Processing disk sdc
mmcrnsd: Propagating the cluster configuration data to all
affected nodes. This is an asynchronous process.

[root@localhost ~]# mmcrfs gpfsfs01 -F /root/work/snode.nsd -B 256K -D posix -k all

The following disks of gpfsfs01 will be formatted on node snode-1.pathpilot.local:
NSD_101: size 5120 MB
NSD_102: size 5120 MB
Formatting file system ...
Disks up to size 146.21 GB can be added to storage pool system.
Creating Inode File
Creating Allocation Maps
Creating Log Files
Clearing Inode Allocation Map
Clearing Block Allocation Map
Formatting Allocation Map for storage pool system
Completed creation of file system /dev/gpfsfs01.
mmcrfs: Propagating the cluster configuration data to all
affected nodes. This is an asynchronous process.

[root@localhost ~]# mmlsfs all
[root@localhost gpfs_rpms]# mmlsfs all
File system attributes for /dev/gpfsfs01:
=========================================
flag value description
------------------- ------------------------ -----------------------------------
-f 8192 Minimum fragment (subblock) size in bytes
-i 4096 Inode size in bytes
-I 16384 Indirect block size in bytes
-m 1 Default number of metadata replicas
-M 2 Maximum number of metadata replicas
-r 1 Default number of data replicas
-R 2 Maximum number of data replicas
-j cluster Block allocation type
-D posix File locking semantics in effect
-k all ACL semantics in effect
-n 32 Estimated number of nodes that will mount file system
-B 262144 Block size
-Q user;group;fileset Quotas accounting enabled
user;group;fileset Quotas enforced
none Default quotas enabled
--perfileset-quota いいえ Per-fileset quota enforcement
--filesetdf はい Fileset df enabled?
-V 23.00 (5.0.5.0) File system version
--create-time Mon Aug 24 06:43:15 2020 File system creation time
-z いいえ Is DMAPI enabled?
-L 4194304 Logfile size
-E はい Exact mtime mount option
-S relatime Suppress atime mount option
-K whenpossible Strict replica allocation option
--fastea はい Fast external attributes enabled?
--encryption いいえ Encryption enabled?
--inode-limit 873856 Maximum number of inodes in all inode spaces
--log-replicas 0 Number of log replicas
--is4KAligned はい is4KAligned?
--rapid-repair はい rapidRepair enabled?
--write-cache-threshold 0 HAWC Threshold (max 65536)
--subblocks-per-full-block 32 Number of subblocks per full block
-P system Disk storage pools in file system
--file-audit-log いいえ File Audit Logging enabled?
--maintenance-mode いいえ Maintenance Mode enabled?
-d NSD_101;NSD_102 Disks in file system
-A yes Automatic mount option
-o none Additional mount options
-T /gpfs/gpfsfs01 Default mount point
--mount-priority 0 Mount priority
[root@localhost gpfs_rpms]#

[root@localhost ~]# mmmount gpfsfs01 -a
2020年 8月 24日 月曜日 06:44:14 JST: mmmount: Mounting file systems ...
[root@localhost gpfs_rpms]# mmlsmount gpfsfs01 -L
File system gpfsfs01 is mounted on 5 nodes:
192.168.1.121 snode-1
192.168.1.123 sgui
192.168.1.122 snode-2
192.168.1.132 worker1
192.168.1.133 worker2
[root@localhost ~]#

以上でScaleのインストールと構成が完了した。

Scale GUIサーバーのインストール

Scale GUIサーバーをインストールする。

cd /usr/lpp/mmfs/5.0.5.2/gpfs_rpms
[root@sgui gpfs_rpms]# yum install gpfs.java-5.0.5-2.x86_64.rpm

cd ../zimon_rpms/rhel7
[root@localhost rhel7]# yum install gpfs.gss.pmcollector-5.0.5-2.el7.x86_64.rpm
[root@localhost rhel7]# yum install gpfs.gss.pmsensors-5.0.5-2.el7.x86_64.rpm

Install the following on GUI node.
[root@sgui gpfs_rpms]# yum install gpfs.gui-5.0.5-2.noarch.rpm
[root@sgui gpfs_rpms]# systemctl start gpfsgui

GUIにログインするためのユーザーをCLI作成する。
[root@sgui gpfs_rpms]# /usr/lpp/mmfs/gui/cli/mkuser admin -g SecurityAdmin
EFSSG1007A Enter password for User :
EFSSG0225I Repeat the password:
EFSSG0019I The user admin has been successfully created.
EFSSG1000I The command completed successfully.
[root@sgui gpfs_rpms]#

ユーザーを作成した直後のログオン画面。通常画面とはちょっと異なる。

一回上記画面でログインするとそれ以降のログインは普段見慣れた画面になる。

以上