■ FreeBSDでhadoop-0.20.0をシングルノードで試す

[2009-01-01-1] FreeBSDでHadoopを動かすで Hadoop をFreeBSDで動かしました。今回は、hadoop-0.20.0を動かします。環境は、前回とほぼ同じです。diablo-jdk16を使ってます。
前回は hadoop-site.xml しか設定していませんでしたが、設定ファイルが３つに分かれました。

hadoop-0.20.0.tar.gzの展開

tar zxfp hadoop-0.20.0.tar.gz
cd hadoop-0.20.0

hadoop-env.sh

vi conf/hadoop-env.sh

JAVA_HOME の環境変数をセットします。

export JAVA_HOME=/usr/local/diablo-jdk1.6.0/

conf/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

conf/hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

conf/mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

HDFSのフォーマット

./bin/hadoop namenode -format

hadoop デーモンたちの起動

./bin/start-all.sh

プロセスの確認

% jps
28038 JobTracker
27997 SecondaryNameNode
28133 TaskTracker
27807 NameNode
28153 Jps
27900 DataNode

NameNodeとJobTrackerの確認

ブラウザで NameNodeとJobTracker の確認することができます。

http://localhost:50070/
http://localhost:50030/

動作テスト

bin/hadoop fs -put conf input
bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 
bin/hadoop fs -cat output/*

プロセスの終了

bin/stop-all.sh

テンポラリディレクトリ

/tmp/hadoop-$USER のディレクトリにファイルが作られます。