PATHpilotのブログ

Hadoopは2.7.3をインストール

構成は以下：

hadoop client (h-client-1)
  |
 + hadoop namenode (h-namenode)
 + hadoop datanode (h-datanode-1)
 + hadoop datanode (h-datanode-2)

2.7.3 は以下からゲットした。
# wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
# tar xf hadoop-2.7.3.tar.gz

~/.bashrcを変更

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export HADOOP_HOME=~/hadoop-2.7.3
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

変更を反映させるには以下を実行

source ~/.bashrc

予め/etc/hostsにはhadoop構成ノードを登録しておく

「パスフレーズなしでssh構成」参照

# ssh-keygen -t rsa -P '' -f ~/.ssh/id-rsa
# sshpass -p "パスワード" ssh-copy-id -i ~/.ssh/id-rsa.pub -o "StrictHostKeyChecking no" h-datanode-1

h-datanode-2に対しても同様に。

core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml をコピー。 scpにてetc/hadoop配下のファイルを全てコピーする。
# scp hadoop-2.7.3/etc/hadoop/* h-datanode-1:$HADOOP_HOME/etc/hadoop

マスターノード（namenode）で以下を実行・確認。

# hdfs dfs -mkdir -p .
# hdfs dfs -ls -R /user
drwxr-xr-x    - root supergourp     0    2020-02-10 18:40  /user/root

クライアントノードのインストール

クライアントノードにhadoop-2.7.3.tar.gzをインストールする。
h-namenodeからetc/hadoop配下のファイル（つまりxmlファイル）を総コピーする。
# scp $HADOOP_HOME/etc/hadoop/* 192.168.1.86:$HADOOP_HOME/etc/hadoop

この状態でクライアントから以下を実行すると…

hdfs dfs ls -R /user
ls: No Route to Host from ……: ホストへの経路がありません。…となり、namenodeに到達できない。

で、h-namenodeのFirewallを停止した。クライアント側のFirewallはそのままでも大丈夫だった。
# systemctl stop firewalld
# service firewalld stop <- 恒久化のため。

クライアントからアクセスできるようになった。