Ambariのインストール
だんだん深みにはまっていくHadoopの世界。Ambariはその深みから救ってくれるかもしれないとの期待のもと、本日インストール実施。
用意した仮想サーバーはAmbariインストール先の1台とHDP展開先サーバー3台(詳細べ後述)の計4台。
まずはAmbariのインストールパッケージの入手
Https://docs.cloudera.com/HDPDocuments/Ambari
ここで今回インストールするHadoopと同じバージョン2.7.3を選択。
上記URLのガイドに従ってInstallationの事前準備実施。
systemctl disable firewalld
service firewalld stop
昨夜、NoRouteToHostエラー発生でハマったところなので重要。
それ以外にも以下を確認。
[root@localhost ~]# timedatectl
Local time: 火 2020-02-11 07:19:10 JST
Universal time: 月 2020-02-10 22:19:10 UTC
RTC time: 月 2020-02-10 22:19:10
Time zone: Asia/Tokyo (JST, +0900)
NTP enabled: yes
NTP synchronized: yes
RTC in local TZ: no
DST active: n/a
[root@localhost ~]# setenforce 0
[root@localhost ~]# vi /etc/selinux/config <- SELINUX=disabledに設定
[root@localhost ~]# umask
0022
Ambari Repositoryをダウンロード
wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repo
yum install ambari-server
無事インストールが完了したらambariのセットアップ。
ambari-server setup
Ambari account: root
iptablesが動いていると以下の警告が出たら、yを選択する前に慌ててfirewalldを停止すること。停止方法は上記参照。
WARNING: iptables is running. Confirm the necessary Ambari ports are accessible. Refer to the Ambari documentation for more details on ports.
OK to continue [y/n] (y)? y
JDKはOracle JDKを選択
Cofiguring database…ではPostgreSQL (Embedded)を選択
以下はAmbari 2.6.2.0では表示されなかった。。。
Database admin user(postgres): postgres
Database name (ambari): ambari
Postgre schema (ambari): ambari
Username (ambari): ambari
Enter Database Password (bigdata): bigdata
全てのインストールが終わったら、ambari serverのスタート
ambari-server start
無事スタート。再確認。
ambari-server status
ウェブブラウザーにてサーバアドレス:8080で、user/passwd=admin/adminでログオン
メニューがあまり無い。Cluster Managementを選択するとCreate a Clusterとなる。Ambariは自らを通してCreateしたClusterしか管理しないってことか。。。
とりあえず先にすすんでみる。Cluster名をambari01とした。
選択できるHDPバージョンにはDefaultで3.xしかない。HDFSは2.7.3を入れたいのでAdd Versionを選ぶ。
Version Definition Fileに関する情報は以下にあった。
https://docs.cloudera.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/hdp_26_repositories.html
ここでHDP 2.6.5を選んでみた。というか、Googleってみたら2.6.5の次は3.xみたいな雰囲気だったので。。。
Version Definition FileのURLは以下。
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-292.xml
Add Versionを実行して展開してみたら、HDFSは2.7.3となっていた。ビンゴ。
新たにClusterを作成する環境としてESXi上に、以下のようにCentOS7サーバーを新たに3台用意した。
192.168.1.76 a-master.pathpilot.jp
192.168.1.77 a-slave-1.pathpilot.jp
192.168.1.78 a-slave-2.pathpilot.jp
これらをAmbariをインストールしたCentOSサーバーの/etc/hostsに追記した。
次にssh private keyを生成。
# ssh-keygen -t rsa -P '' -f ~/.ssh/ud-rsa
赤いFailedをクリックして理由を確認。アクセス拒絶、パスワード指定していないから当然だ。
やっぱり予め鍵はターゲットサーバーに分配しておかねばならない、当たり前か。
そこで以下を実行。
sshpass -p "rootのパスワード” ssh-copy-id -i ~/.ssh/id-rsa.pub -o "StrictHostKeyChecking no" a-master.pathpilot.jp
同様の操作をa-slave-1, a-slave-2にも実行。
再挑戦。やっぱりFailed。でも様子が違う。
けっこう頑張って動いている。
エラーメッセージの全文は以下のとおり。
Command start time 2020-02-11 10:17:48
Host registration aborted. Ambari Agent host cannot reach Ambari Server 'h-client-1:8080'.
Please check the network connectivity between the Ambari Agent host and the Ambari Server
Connection to a-master.pathpilot.jp closed.
SSH command execution finished
host=a-master.pathpilot.jp, exitcode=1
Command end time 2020-02-11 10:17:50
ERROR: Bootstrap of host a-master.pathpilot.jp fails because previous action finished with non-zero exit code (1)
ERROR MESSAGE: Connection to a-master.pathpilot.jp closed.
STDOUT: Host registration aborted. Ambari Agent host cannot reach Ambari Server 'h-client-1:8080'.
Please check the network connectivity between the Ambari Agent host and the Ambari Server
Connection to a-master.pathpilot.jp closed.
Amabi Agentが各ターゲットノードで動くときにh-client-1が見えないといっているようだ。ちなみにh-client-1はAmbariをインストールしたHadoop Client。そこで、Ambariサーバーが持つ/etc/hostsをターゲットノードにばらまいた。このhostsファイルにはHadoop Clientから見えるホスト全てが登録されている。
# scp /etc/hosts a-master.pathpilot.jp:/etc/hosts 他のノードに対しても同様。
ターゲットの登録に成功。
しかし、先に進もうとすると、「ちゃんと確認してね!」といったメッセージが出た。画面下あたりをみると、Click here to see the warningsとある。そこをクリックすると、、、
ターゲットノードでFirewallが動いているぞ、と言っている。全部Disableにする。NextをクリックするとFile System選択画面になった。
初めて読む名前ばかり。とりえあずHDFSとYARN+MapReduce2のみにチェックをいれる。NextをクリックしたらZooKeeperが必要だから入れるとのメッセージ。OKをクリック。
次にAmberi Metricsがはいってないが良いかときいてくるので、もどってチェックをいれる。
Apache Rangerについても同様。
Apache Atlasについても同様。
Infra Solrについても同様。
HBaseについても同様。
KafkaはZooKeeper同様に必要だから自動で入れると通知。
選択した機能がばらまかれている。
Assign Slaves and Clientsに進むと以下の画面となった。
自動設定されたままで良いのか迷うが、ここでいろいろ考えてもしょうがないので、とりあえずこのままで先に進む。
Customize Servicesに入る。
Credentialではパスワードはいずれもpassw0rdに設定。
で、All Configurationが表示された。
Advancedに赤マークが付いていて、先にすすめない。
理由はhadoop proxyuserが未設定。とりあえずrootと設定。
Atlas password: passw0rd
Ranger admin_password: passw0rd
Ranger DB host: 192.168.1.86 (Ambariをインストールしたサーバーを適当に設定)
Ranger password: passw0rd
Ranger DB Admin password: passw0rd
これでNextがクリックできるようになった。
やっとDeployできるとことにたどり着いた。
とりあえず完了。Warningが出たようなのでProgress Barが黄色になっている。
RangerDB Hostアドレスを適当に設定したのが原因だと思う。
Starting services failedと記録されたが、一応は完了。
一通りおわってからDashboardにもどる。メニューには今インストールしたサービスがが並んでいる。いずれもサービスが開始されていないで赤く表示されている。
HDFSをスタートしてみる。若干の時間はかかるものの無事スタートできた。
ここまで約6時間かかった。
« Spectrum Scale導入作業 | トップページ | 試しにHadoop Clientのインストール »
「ソフトウエア導入」カテゴリの記事
- 非Windows11対応PCをWindows11にアップグレードする方法(2023.03.21)
- ThonnyでPicoのVersion upで SSL: CERTIFICATE_VERIFY_FAILED, certificate has expired にハマった件(2022.11.23)
- UI-VIEW32のオリジナルマップの作製(2022.11.22)
- APRS I-Gateの設置(2022.11.15)
- PCIe dual serial port adapterドライバーCH38XDRV.ZIPのWindows11へのインストール(2022.11.13)
コメント