試しにHadoop Clientのインストール
Hadoopは2.7.3をインストール
構成は以下:
hadoop client (h-client-1)
|
+ hadoop namenode (h-namenode)
+ hadoop datanode (h-datanode-1)
+ hadoop datanode (h-datanode-2)
2.7.3 は以下からゲットした。
# wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
# tar xf hadoop-2.7.3.tar.gz
~/.bashrcを変更
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export HADOOP_HOME=~/hadoop-2.7.3
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
変更を反映させるには以下を実行
source ~/.bashrc
予め/etc/hostsにはhadoop構成ノードを登録しておく
「パスフレーズなしでssh構成」参照
# ssh-keygen -t rsa -P '' -f ~/.ssh/id-rsa
# sshpass -p "パスワード" ssh-copy-id -i ~/.ssh/id-rsa.pub -o "StrictHostKeyChecking no" h-datanode-1
h-datanode-2に対しても同様に。
core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml をコピー。 scpにてetc/hadoop配下のファイルを全てコピーする。
# scp hadoop-2.7.3/etc/hadoop/* h-datanode-1:$HADOOP_HOME/etc/hadoop
マスターノード(namenode)で以下を実行・確認。
# hdfs dfs -mkdir -p .
# hdfs dfs -ls -R /user
drwxr-xr-x - root supergourp 0 2020-02-10 18:40 /user/root
クライアントノードのインストール
クライアントノードにhadoop-2.7.3.tar.gzをインストールする。
h-namenodeからetc/hadoop配下のファイル(つまりxmlファイル)を総コピーする。
# scp $HADOOP_HOME/etc/hadoop/* 192.168.1.86:$HADOOP_HOME/etc/hadoop
この状態でクライアントから以下を実行すると…
hdfs dfs ls -R /user
ls: No Route to Host from ……: ホストへの経路がありません。…となり、namenodeに到達できない。
で、h-namenodeのFirewallを停止した。クライアント側のFirewallはそのままでも大丈夫だった。
# systemctl stop firewalld
# service firewalld stop <- 恒久化のため。
クライアントからアクセスできるようになった。
« Ambariのインストール | トップページ | AmbariでKerberos »
「ソフトウエア導入」カテゴリの記事
- 非Windows11対応PCをWindows11にアップグレードする方法(2023.03.21)
- ThonnyでPicoのVersion upで SSL: CERTIFICATE_VERIFY_FAILED, certificate has expired にハマった件(2022.11.23)
- UI-VIEW32のオリジナルマップの作製(2022.11.22)
- APRS I-Gateの設置(2022.11.15)
- PCIe dual serial port adapterドライバーCH38XDRV.ZIPのWindows11へのインストール(2022.11.13)
コメント