« Spectrum Scale導入作業 | トップページ | 試しにHadoop Clientのインストール »

2020年2月11日 (火)

Ambariのインストール

だんだん深みにはまっていくHadoopの世界。Ambariはその深みから救ってくれるかもしれないとの期待のもと、本日インストール実施。

用意した仮想サーバーはAmbariインストール先の1台とHDP展開先サーバー3台(詳細べ後述)の計4台。

まずはAmbariのインストールパッケージの入手
Https://docs.cloudera.com/HDPDocuments/Ambari
ここで今回インストールするHadoopと同じバージョン2.7.3を選択。

上記URLのガイドに従ってInstallationの事前準備実施。
systemctl disable firewalld
service firewalld stop
昨夜、NoRouteToHostエラー発生でハマったところなので重要。
それ以外にも以下を確認。

[root@localhost ~]# timedatectl
Local time: 火 2020-02-11 07:19:10 JST
Universal time: 月 2020-02-10 22:19:10 UTC
RTC time: 月 2020-02-10 22:19:10
Time zone: Asia/Tokyo (JST, +0900)
NTP enabled: yes
NTP synchronized: yes
RTC in local TZ: no
DST active: n/a

[root@localhost ~]# setenforce 0
[root@localhost ~]# vi /etc/selinux/config <- SELINUX=disabledに設定
[root@localhost ~]# umask
0022

Ambari Repositoryをダウンロード

wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

yum install ambari-server

無事インストールが完了したらambariのセットアップ。
ambari-server setup

Ambari account: root

iptablesが動いていると以下の警告が出たら、yを選択する前に慌ててfirewalldを停止すること。停止方法は上記参照。
WARNING: iptables is running. Confirm the necessary Ambari ports are accessible. Refer to the Ambari documentation for more details on ports.
OK to continue [y/n] (y)? y

JDKはOracle JDKを選択

Cofiguring database…ではPostgreSQL (Embedded)を選択

以下はAmbari 2.6.2.0では表示されなかった。。。
Database admin user(postgres): postgres
Database name (ambari): ambari
Postgre schema (ambari): ambari
Username (ambari): ambari
Enter Database Password (bigdata): bigdata

全てのインストールが終わったら、ambari serverのスタート

ambari-server start

無事スタート。再確認。

ambari-server status

ウェブブラウザーにてサーバアドレス:8080で、user/passwd=admin/adminでログオン
20200211-80819

メニューがあまり無い。Cluster Managementを選択するとCreate a Clusterとなる。Ambariは自らを通してCreateしたClusterしか管理しないってことか。。。
とりあえず先にすすんでみる。Cluster名をambari01とした。

20200211-83519

選択できるHDPバージョンにはDefaultで3.xしかない。HDFSは2.7.3を入れたいのでAdd Versionを選ぶ。

20200211-84911

Version Definition Fileに関する情報は以下にあった。
https://docs.cloudera.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/hdp_26_repositories.html
ここでHDP 2.6.5を選んでみた。というか、Googleってみたら2.6.5の次は3.xみたいな雰囲気だったので。。。
Version Definition FileのURLは以下。
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-292.xml
Add Versionを実行して展開してみたら、HDFSは2.7.3となっていた。ビンゴ。

20200211-85028

画面をスクロールアップするとNEXTボタンが出てくる。
20200211-85758

新たにClusterを作成する環境としてESXi上に、以下のようにCentOS7サーバーを新たに3台用意した。
192.168.1.76 a-master.pathpilot.jp
192.168.1.77 a-slave-1.pathpilot.jp
192.168.1.78 a-slave-2.pathpilot.jp
これらをAmbariをインストールしたCentOSサーバーの/etc/hostsに追記した。

次にssh private keyを生成。
# ssh-keygen -t rsa -P '' -f ~/.ssh/ud-rsa

20200211-95620

おっと、Failedとなった。
20200211-95738

赤いFailedをクリックして理由を確認。アクセス拒絶、パスワード指定していないから当然だ。
20200211-95923  
やっぱり予め鍵はターゲットサーバーに分配しておかねばならない、当たり前か。
そこで以下を実行。
sshpass -p "rootのパスワード” ssh-copy-id -i ~/.ssh/id-rsa.pub -o "StrictHostKeyChecking no" a-master.pathpilot.jp
同様の操作をa-slave-1, a-slave-2にも実行。

再挑戦。やっぱりFailed。でも様子が違う。
けっこう頑張って動いている。
20200211-102207

しかし、、、
20200211-102226

エラーメッセージの全文は以下のとおり。
Command start time 2020-02-11 10:17:48
Host registration aborted. Ambari Agent host cannot reach Ambari Server 'h-client-1:8080'.
Please check the network connectivity between the Ambari Agent host and the Ambari Server
Connection to a-master.pathpilot.jp closed.
SSH command execution finished
host=a-master.pathpilot.jp, exitcode=1
Command end time 2020-02-11 10:17:50
ERROR: Bootstrap of host a-master.pathpilot.jp fails because previous action finished with non-zero exit code (1)
ERROR MESSAGE: Connection to a-master.pathpilot.jp closed.
STDOUT: Host registration aborted. Ambari Agent host cannot reach Ambari Server 'h-client-1:8080'. 
Please check the network connectivity between the Ambari Agent host and the Ambari Server
Connection to a-master.pathpilot.jp closed.

Amabi Agentが各ターゲットノードで動くときにh-client-1が見えないといっているようだ。ちなみにh-client-1はAmbariをインストールしたHadoop Client。そこで、Ambariサーバーが持つ/etc/hostsをターゲットノードにばらまいた。このhostsファイルにはHadoop Clientから見えるホスト全てが登録されている。
# scp /etc/hosts a-master.pathpilot.jp:/etc/hosts  他のノードに対しても同様。

ターゲットの登録に成功。
Success
しかし、先に進もうとすると、「ちゃんと確認してね!」といったメッセージが出た。画面下あたりをみると、Click here to see the warningsとある。そこをクリックすると、、、
Hostcheck

ターゲットノードでFirewallが動いているぞ、と言っている。全部Disableにする。NextをクリックするとFile System選択画面になった。
Choosefilesystems 
初めて読む名前ばかり。とりえあずHDFSとYARN+MapReduce2のみにチェックをいれる。NextをクリックしたらZooKeeperが必要だから入れるとのメッセージ。OKをクリック。

Zookeeper

次にAmberi Metricsがはいってないが良いかときいてくるので、もどってチェックをいれる。
Ambarimetrics

Apache Rangerについても同様。
Apache Atlasについても同様。
Infra Solrについても同様。
HBaseについても同様。
KafkaはZooKeeper同様に必要だから自動で入れると通知。

ようやく先に進んだ。
Assignmaster1 Assignmaster2

選択した機能がばらまかれている。
Assign Slaves and Clientsに進むと以下の画面となった。Assignslaves
自動設定されたままで良いのか迷うが、ここでいろいろ考えてもしょうがないので、とりあえずこのままで先に進む。

Customize Servicesに入る。
Credentialではパスワードはいずれもpassw0rdに設定。
Credentials

DirectoryはDefaultのまま。
Directories

Accountsもそのまま。
Account1 Account2

で、All Configurationが表示された。
Allconfig
Advancedに赤マークが付いていて、先にすすめない。
Advanced
理由はhadoop proxyuserが未設定。とりあえずrootと設定。
Coresite

更に5つ。
Reqconfig

Atlas password: passw0rd
Ranger admin_password: passw0rd
Ranger DB host: 192.168.1.86 (Ambariをインストールしたサーバーを適当に設定)
Ranger password: passw0rd
Ranger DB Admin password: passw0rd
これでNextがクリックできるようになった。

やっとDeployできるとことにたどり着いた。

Review

DeployをクリックするとTaskが初期化されて、、、
Initialize

テストが始まる。
Installtest

とりあえず完了。Warningが出たようなのでProgress Barが黄色になっている。Complete  

RangerDB Hostアドレスを適当に設定したのが原因だと思う。
Warning

Starting services failedと記録されたが、一応は完了。
Finished

一通りおわってからDashboardにもどる。メニューには今インストールしたサービスがが並んでいる。いずれもサービスが開始されていないで赤く表示されている。
Hdfs1

HDFSをスタートしてみる。若干の時間はかかるものの無事スタートできた。
Hdfs2

ここまで約6時間かかった。

« Spectrum Scale導入作業 | トップページ | 試しにHadoop Clientのインストール »

ソフトウエア導入」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

« Spectrum Scale導入作業 | トップページ | 試しにHadoop Clientのインストール »