« 羨ましいぞ、若者。 | トップページ | ESXi6.0 仮想マシーンへのisoイメージからのゲストOSインストール »

2020年2月 2日 (日)

hadoop namenodeへのアクセス

新しいマシーンにhadoopをインストールして、既設のNameNodeにアクセスしてみた。

既設Hadoop:疑似拡散モードで動いている192.168.245.155 (pnode)
新設Hadoop:192.168.245.156 (snode-0)

新設Hadoopのcore-site.xmlに以下を記述:

 <property>
    <name>fs.defaultFS</mame>
      <value>hdfs://192.168.245.155:9000</value>
 </property>

hdfs-site.xmlにreplicationを1でセット。

既に上記2台のマシーンはpassword-less sshできるように設定済み。

# sbin/start-dfs.sh
Starting namenodes on [pnode]    
pnode: starting namenode, logging to /root/hadoop-2.10.0/logs/hadoop-root-namenode-pnode.log
localhost: starting datanode, logging to /root/hadoop-2.10.0/logs/hadoop-root-datanode-snode-0.log
Starting secondary namenode [0.0.0.0]
0.0.0.0: starting secondarynamenode, loggoing to /root/hadoop-2.10.0/logs/hadoop-root-secondarynamenode-snode-0.out

これを見る限りnamenodeはpnodeをアクセスしようとしている。

hadoop-root-datanode-snode-0.logを見てみる.
Retrying connect to server: pnode/192.168.245.155:9000 が連発している。どうやらpnodeにつながっていないようだ。

#bin/hdfs dfs -ls -R を実行してみるが、やはりつながっていない。
ls: Call From snode-0/192.168.245.156 to pnode:9000 failed on connection exception: java.net.ConnectionExceptiopn:
接続を拒否されました; For mode details see:  http://wiki.apache.org/hadoop/ConnectionRefused 

#jps
10225 Jps
3298 DataNode
3527 SecondaryNameNode

NameNodeはローカルではなくpnodeだから、jpsには出てこない(のだろうと思う)。

pnodeで以下を実行
# nmap 192.168.245.155

PORT      STATE   SERVICE
22/tcp     open     ssh
....
8085/tcp  open     unknown
9000がない。
# nmap localhost

PORT      STATE   SERVICE
9000/tcp  open    cslistener

cslistenerが何なのか分からないけれども、とりあえず9000は開いている。

なんだか結局わからなくて、ここで中断。

« 羨ましいぞ、若者。 | トップページ | ESXi6.0 仮想マシーンへのisoイメージからのゲストOSインストール »

ソフトウエア導入」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

« 羨ましいぞ、若者。 | トップページ | ESXi6.0 仮想マシーンへのisoイメージからのゲストOSインストール »

フォト
無料ブログはココログ
2023年1月
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31