スポンサーリンク

このドキュメントの内容は、以下の通りです。

[2009-01-01-1] FreeBSDでHadoopを動かすで Hadoop をFreeBSDで動かしました。今回は、hadoop-0.20.0を動かします。環境は、前回とほぼ同じです。diablo-jdk16を使ってます。
前回は hadoop-site.xml しか設定していませんでしたが、設定ファイルが3つに分かれました。

hadoop-0.20.0.tar.gzの展開


tar zxfp hadoop-0.20.0.tar.gz
cd hadoop-0.20.0

hadoop-env.sh


vi conf/hadoop-env.sh
JAVA_HOME の環境変数をセットします。
export JAVA_HOME=/usr/local/diablo-jdk1.6.0/

conf/core-site.xml


<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

conf/hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

conf/mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

HDFSのフォーマット


./bin/hadoop namenode -format

hadoop デーモンたちの起動


./bin/start-all.sh

プロセスの確認


% jps
28038 JobTracker
27997 SecondaryNameNode
28133 TaskTracker
27807 NameNode
28153 Jps
27900 DataNode

NameNodeとJobTrackerの確認


ブラウザで NameNodeとJobTracker の確認することができます。

http://localhost:50070/
http://localhost:50030/

動作テスト


bin/hadoop fs -put conf input
bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 
bin/hadoop fs -cat output/*

プロセスの終了


bin/stop-all.sh

テンポラリディレクトリ


/tmp/hadoop-$USER のディレクトリにファイルが作られます。

スポンサーリンク
スポンサーリンク
 
いつもシェア、ありがとうございます!


もっと情報を探しませんか?

関連記事

最近の記事

人気のページ

はてなの人気のブックマーク

スポンサーリンク
 

過去ログ

2019 : 01 02 03 04 05 06 07 08 09 10 11 12
2018 : 01 02 03 04 05 06 07 08 09 10 11 12
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12
2003 : 01 02 03 04 05 06 07 08 09 10 11 12

サイト

Vim入門

C言語入門

C++入門

JavaScript/Node.js入門

Python入門

FreeBSD入門

Ubuntu入門

セキュリティ入門

パソコン自作入門

ブログ

トップ


プライバシーポリシー