Ambariのインストール: PATHpilotのブログ

だんだん深みにはまっていくHadoopの世界。Ambariはその深みから救ってくれるかもしれないとの期待のもと、本日インストール実施。

用意した仮想サーバーはAmbariインストール先の1台とHDP展開先サーバー3台（詳細べ後述）の計4台。

まずはAmbariのインストールパッケージの入手
Https://docs.cloudera.com/HDPDocuments/Ambari
ここで今回インストールするHadoopと同じバージョン2.7.3を選択。

上記URLのガイドに従ってInstallationの事前準備実施。
systemctl disable firewalld
service firewalld stop
昨夜、NoRouteToHostエラー発生でハマったところなので重要。
それ以外にも以下を確認。

[root@localhost ~]# timedatectl
Local time: 火 2020-02-11 07:19:10 JST
Universal time: 月 2020-02-10 22:19:10 UTC
RTC time: 月 2020-02-10 22:19:10
Time zone: Asia/Tokyo (JST, +0900)
NTP enabled: yes
NTP synchronized: yes
RTC in local TZ: no
DST active: n/a

[root@localhost ~]# setenforce 0
[root@localhost ~]# vi /etc/selinux/config　<- SELINUX=disabledに設定
[root@localhost ~]# umask
0022

Ambari Repositoryをダウンロード

wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

yum install ambari-server

無事インストールが完了したらambariのセットアップ。
ambari-server setup

Ambari account: root

iptablesが動いていると以下の警告が出たら、yを選択する前に慌ててfirewalldを停止すること。停止方法は上記参照。
WARNING: iptables is running. Confirm the necessary Ambari ports are accessible. Refer to the Ambari documentation for more details on ports.
OK to continue [y/n] (y)? y

JDKはOracle JDKを選択

Cofiguring database…ではPostgreSQL (Embedded)を選択

以下はAmbari 2.6.2.0では表示されなかった。。。
Database admin user(postgres): postgres
Database name (ambari): ambari
Postgre schema (ambari): ambari
Username (ambari): ambari
Enter Database Password (bigdata): bigdata

全てのインストールが終わったら、ambari serverのスタート

ambari-server start

無事スタート。再確認。

ambari-server status

ウェブブラウザーにてサーバアドレス:8080で、user/passwd=admin/adminでログオン

メニューがあまり無い。Cluster Managementを選択するとCreate a Clusterとなる。Ambariは自らを通してCreateしたClusterしか管理しないってことか。。。
とりあえず先にすすんでみる。Cluster名をambari01とした。

選択できるHDPバージョンにはDefaultで3.xしかない。HDFSは2.7.3を入れたいのでAdd Versionを選ぶ。

Version Definition Fileに関する情報は以下にあった。
https://docs.cloudera.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/hdp_26_repositories.html
ここでHDP 2.6.5を選んでみた。というか、Googleってみたら2.6.5の次は3.xみたいな雰囲気だったので。。。
Version Definition FileのURLは以下。
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-292.xml
Add Versionを実行して展開してみたら、HDFSは2.7.3となっていた。ビンゴ。

画面をスクロールアップするとNEXTボタンが出てくる。

新たにClusterを作成する環境としてESXi上に、以下のようにCentOS7サーバーを新たに3台用意した。
192.168.1.76 a-master.pathpilot.jp
192.168.1.77 a-slave-1.pathpilot.jp
192.168.1.78 a-slave-2.pathpilot.jp
これらをAmbariをインストールしたCentOSサーバーの/etc/hostsに追記した。

次にssh private keyを生成。
# ssh-keygen -t rsa -P '' -f ~/.ssh/ud-rsa

おっと、Failedとなった。

赤いFailedをクリックして理由を確認。アクセス拒絶、パスワード指定していないから当然だ。

やっぱり予め鍵はターゲットサーバーに分配しておかねばならない、当たり前か。
そこで以下を実行。
sshpass -p "rootのパスワード” ssh-copy-id -i ~/.ssh/id-rsa.pub -o "StrictHostKeyChecking no" a-master.pathpilot.jp
同様の操作をa-slave-1, a-slave-2にも実行。

再挑戦。やっぱりFailed。でも様子が違う。
けっこう頑張って動いている。

しかし、、、

エラーメッセージの全文は以下のとおり。
Command start time 2020-02-11 10:17:48

Host registration aborted. Ambari Agent host cannot reach Ambari Server 'h-client-1:8080'. 
Please check the network connectivity between the Ambari Agent host and the Ambari Server

Connection to a-master.pathpilot.jp closed.

SSH command execution finished

host=a-master.pathpilot.jp, exitcode=1

Command end time 2020-02-11 10:17:50

ERROR: Bootstrap of host a-master.pathpilot.jp fails because previous action finished with non-zero exit code (1)
ERROR MESSAGE: Connection to a-master.pathpilot.jp closed.

STDOUT: Host registration aborted. Ambari Agent host cannot reach Ambari Server 'h-client-1:8080'. 
Please check the network connectivity between the Ambari Agent host and the Ambari Server

Connection to a-master.pathpilot.jp closed.

Amabi Agentが各ターゲットノードで動くときにh-client-1が見えないといっているようだ。ちなみにh-client-1はAmbariをインストールしたHadoop Client。そこで、Ambariサーバーが持つ/etc/hostsをターゲットノードにばらまいた。このhostsファイルにはHadoop Clientから見えるホスト全てが登録されている。
# scp /etc/hosts a-master.pathpilot.jp:/etc/hosts 他のノードに対しても同様。

ターゲットの登録に成功。

しかし、先に進もうとすると、「ちゃんと確認してね！」といったメッセージが出た。画面下あたりをみると、Click here to see the warningsとある。そこをクリックすると、、、

ターゲットノードでFirewallが動いているぞ、と言っている。全部Disableにする。NextをクリックするとFile System選択画面になった。

初めて読む名前ばかり。とりえあずHDFSとYARN+MapReduce2のみにチェックをいれる。NextをクリックしたらZooKeeperが必要だから入れるとのメッセージ。OKをクリック。

次にAmberi Metricsがはいってないが良いかときいてくるので、もどってチェックをいれる。

Apache Rangerについても同様。
Apache Atlasについても同様。
Infra Solrについても同様。
HBaseについても同様。
KafkaはZooKeeper同様に必要だから自動で入れると通知。

ようやく先に進んだ。

選択した機能がばらまかれている。
Assign Slaves and Clientsに進むと以下の画面となった。
自動設定されたままで良いのか迷うが、ここでいろいろ考えてもしょうがないので、とりあえずこのままで先に進む。

Customize Servicesに入る。
Credentialではパスワードはいずれもpassw0rdに設定。

DirectoryはDefaultのまま。

Accountsもそのまま。

で、All Configurationが表示された。

Advancedに赤マークが付いていて、先にすすめない。

理由はhadoop proxyuserが未設定。とりあえずrootと設定。

更に5つ。

Atlas password: passw0rd
Ranger admin_password: passw0rd
Ranger DB host: 192.168.1.86 (Ambariをインストールしたサーバーを適当に設定）
Ranger password: passw0rd
Ranger DB Admin password: passw0rd
これでNextがクリックできるようになった。

やっとDeployできるとことにたどり着いた。