CDH3 Hadoopで擬似分散モード環境をCentOS6上に作る

Linux Hadoop

擬似分散モードとは1台のマシン上に分散環境を擬似的に構築する事です。


前提条件としてOSから自ホストが名前解決できる事。
DNSが登録できない環境だと 例えば


192.168.0.XX bose999-cent6.XXXXX.co.jp bose999-cent6


等を/etc/hostsに記述しておく。

# su -
# chmod 755 jdk-6u30-linux-x64-rpm.bin 
# ./jdk-6u30-linux-x64-rpm.bin 
# cd /etc/yum.repos.d
# wget http://archive.cloudera.com/redhat/6/x86_64/cdh/cloudera-cdh3.repo
# ls
CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Media.repo  cloudera-cdh3.repo
# yum update yum
# yum install hadoop-0.20
# yum install hadoop-0.20-namenode hadoop-0.20-datanode hadoop-0.20-secondarynamenode hadoop-0.20-jobtracker hadoop-0.20-tasktracker
# yum install hadoop-0.20-conf-pseudo
# cd /etc/init.d
# ./hadoop-0.20-namenode start
# ./hadoop-0.20-datanode start 
# ./hadoop-0.20-secondarynamenode start
# ./hadoop-0.20-jobtracker start
# ./hadoop-0.20-tasktracker start


JDK6いれてリポジトリ追加してyumでいれて、
擬似分散モードの設定もRPMで入れて、その後起動の流れ。


この作業の後、


NameNode http://192.168.0.XX:50070/
JobTracker http://192.168.0.XX:50030/


にブラウザつないで確認。