スポンサーリンク

このドキュメントの内容は、以下の通りです。

この例では、Hadoop Streaming を利用し、 Map を cat、 Reducer を wc コマンドとして、 Map Reduce を実行します。

namenodeの初期化


namenode をフォーマットします。

./bin/hadoop namenode -format

サーバの起動


./bin/start-all.sh

ファイルを hdfs に置く


MapReduce に入力するファイルをコピーします。
この例では、/etc/rc.conf をコピーしていますが、何行か書いてあるファイルであれば、なんでも OK です。
./bin/hadoop dfs -copyFromLocal /etc/rc.conf input

cat.sh


  • reducer の wc のパスが違う場合は、変更してください。
  • HADOOP_HOME は、自分の Hadoop のディレクトリに合わせて下さい。
#!/bin/sh

HADOOP_HOME=/home/$USER/Hadoop/hadoop-1.0.3
HADOOP=$HADOOP_HOME/bin/hadoop
STREAMING=$HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.3.jar

$HADOOP jar $STREAMING \
	-input input -output output \
	-mapper /bin/cat -reducer /usr/bin/wc

実行


sh cat.sh

出力結果の確認


./bin/hadoop dfs -ls output
./bin/hadoop dfs -cat output/part-00000

ファイルの削除の仕方


./bin/hadoop dfs -rmr input
./bin/hadoop dfs -rmr output

スポンサーリンク
スポンサーリンク
 
いつもシェア、ありがとうございます!


もっと情報を探しませんか?

関連記事

最近の記事

人気のページ

はてなの人気のブックマーク

スポンサーリンク
 

過去ログ

2019 : 01 02 03 04 05 06 07 08 09 10 11 12
2018 : 01 02 03 04 05 06 07 08 09 10 11 12
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12
2003 : 01 02 03 04 05 06 07 08 09 10 11 12

サイト

Vim入門

C言語入門

C++入門

JavaScript/Node.js入門

Python入門

FreeBSD入門

Ubuntu入門

セキュリティ入門

パソコン自作入門

ブログ

トップ


プライバシーポリシー