Hadoop Streaming の使い方 ５分でできる Perl による Mapper と Reducer

このドキュメントの内容は、以下の通りです。

• 入力ファイル
• input/a
• input/a
• 実行スクリプト
• mapred.sh
• map.pl
• reduce.pl
• 事前準備
• コマンドによる確認
• Hadoop の起動
• 実行と確認

入力ファイル

input/a

c
a
d
d
a
d

input/a

b
c
a

実行スクリプト

mapred.sh

#!/bin/sh
HADOOP_HOME=/home/kaworu/Hadoop/hadoop-1.0.3

HADOOP=$HADOOP_HOME/bin/hadoop

STREAMING=$HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.3.jar

$HADOOP jar $STREAMING \
	-input input -output output \
	-mapper $PWD/map.pl -reducer $PWD/reduce.pl

map.pl

#!/usr/bin/perl -w
use strict;

sub main
{
	while (<STDIN>)
	{
		chomp;
		#print $_;
		print $_ . "\t1\n";
		#print STDERR $_;
	}
	exit (0);
}

& main;

reduce.pl

#!/usr/bin/perl -w
use strict;

my $lastid = '';
my $count = 0;
my $id = '';
my $c;
while (<STDIN>)
{
	chomp;
	($id, $c) = split /\t/;

	if ($lastid ne $id)
	{
		if ($lastid ne '')
		{
			print "$lastid\t$count\n";
		}
		$lastid = $id;
		$count = 1;
		next;
	}

	++$count;
}
if ($lastid ne '')
{
	print "$lastid\t$count\n";
}

事前準備

% ls input
a  b

% ./bin/hadoop dfs -copyFromLocal /home/kaworu/hadoop/input .
% ./bin/hadoop dfs -ls input
 -rw-r--r--   1 kaworu supergroup         12 2012-07-04 11:24 /user/kaworu/input/a
 -rw-r--r--   1 kaworu supergroup          6 2012-07-04 11:24 /user/kaworu/input/b

コマンドによる確認

% ls input
a  b
% cat input/* | sort | uniq -c
   3 a
   1 b
   2 c
   3 d

Hadoop の起動

• http://hadoop.apache.org/releases.html#Download
• [2012-07-01-1] Hadoop を FreeBSD にインストールする
• [2011-12-21-1] FreeBSD で Hadoop 0.22.0 を動かしてみる

./bin/start-all.sh

実行と確認

% sh mapred.sh

% ./bin/hadoop dfs -ls output/
Found 3 items
-rw-r--r--   1 kaworu supergroup          0 2012-07-04 11:32 /user/kaworu/output/_SUCCESS
drwxr-xr-x   - kaworu supergroup          0 2012-07-04 11:31 /user/kaworu/output/_logs
-rw-r--r--   1 kaworu supergroup         16 2012-07-04 11:32 /user/kaworu/output/part-00000
% ./bin/hadoop dfs -cat output/part-00000
a       3
b       1
c       2
d       3

./bin/hadoop dfs -rmr output