Hadoop Streaming の使い方 mapper と reducer を UNIX コマンドで使う

このドキュメントの内容は、以下の通りです。

• namenodeの初期化
• サーバの起動
• ファイルを hdfs に置く
• cat.sh
• 実行
• 出力結果の確認
• ファイルの削除の仕方

namenodeの初期化

./bin/hadoop namenode -format

サーバの起動

./bin/start-all.sh

ファイルを hdfs に置く

./bin/hadoop dfs -copyFromLocal /etc/rc.conf input

cat.sh

• reducer の wc のパスが違う場合は、変更してください。
• HADOOP_HOME は、自分の Hadoop のディレクトリに合わせて下さい。

#!/bin/sh

HADOOP_HOME=/home/$USER/Hadoop/hadoop-1.0.3
HADOOP=$HADOOP_HOME/bin/hadoop
STREAMING=$HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.3.jar

$HADOOP jar $STREAMING \
	-input input -output output \
	-mapper /bin/cat -reducer /usr/bin/wc

実行

sh cat.sh

出力結果の確認

./bin/hadoop dfs -ls output
./bin/hadoop dfs -cat output/part-00000

ファイルの削除の仕方

./bin/hadoop dfs -rmr input
./bin/hadoop dfs -rmr output