FreeBSDでhadoop-0.20.0をシングルノードで試す

このドキュメントの内容は、以下の通りです。

• hadoop-0.20.0.tar.gzの展開
• hadoop-env.sh
• conf/core-site.xml
• conf/hdfs-site.xml
• conf/mapred-site.xml
• HDFSのフォーマット
• hadoop デーモンたちの起動
• プロセスの確認
• NameNodeとJobTrackerの確認
• 動作テスト
• プロセスの終了
• テンポラリディレクトリ

hadoop-0.20.0.tar.gzの展開

tar zxfp hadoop-0.20.0.tar.gz
cd hadoop-0.20.0

hadoop-env.sh

vi conf/hadoop-env.sh

export JAVA_HOME=/usr/local/diablo-jdk1.6.0/

conf/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

conf/hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

conf/mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

HDFSのフォーマット

./bin/hadoop namenode -format

hadoop デーモンたちの起動

./bin/start-all.sh

プロセスの確認

% jps
28038 JobTracker
27997 SecondaryNameNode
28133 TaskTracker
27807 NameNode
28153 Jps
27900 DataNode

NameNodeとJobTrackerの確認

動作テスト

bin/hadoop fs -put conf input
bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 
bin/hadoop fs -cat output/*

プロセスの終了

bin/stop-all.sh

テンポラリディレクトリ