FreeBSDにHadoop2をセットアップする

このドキュメントの内容は、以下の通りです。

• はじめに
• インストール
• 設定ファイルの作成
• namenodeのフォーマット
• namenodeの起動
• datanodeの起動
• HDFSのテスト
• メモ

はじめに

FreeBSD に Hadoop2 の環境をセットアップしました。もともと Hive を動かしたかったのですが、Hive を動かすために Hadoop が必要ということで Hadoop のセットアップから始めました。本当は Windows 10 の WSL の Ubunutu の環境でセットアップしていたのですが、エラーに悩んだ挙句、Ubunut は諦めました。

FreeBSD の pkg では

• hadoop
• hadoop2 が提供されています。pkg のパッケージの hadoop をインストールすると1系の hadoop がインストールされます。

今回は hadoop2 をインストールします。

インストール

hadoop2 をインストールします。openjdk8 もインストールします。

sudo pkg install openjdk8 hadoop2

設定ファイルの作成

設定ファイルを作成します。

sudo vim /usr/local/etc/hadoop/core-site.xml

core-site.xml の内容は、以下の通りです。

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
	<name>fs.defaultFS</name>
	<value>hdfs://localhost:9000</value>
    </property>
    <property>
	<name>hadoop.tmp.dir</name>
	<value>/tmp/hadoop-${user.name}</value>
    </property>
</configuration>

namenodeのフォーマット

namenode をフォーマットします。

sudo -u hdfs hdfs namenode -format 

フォーマットしていないと namenode が起動しません。

namenodeの起動

namenode を起動します。

sudo service namenode onestart

datanodeの起動

データノードは、以下のコマンドで起動します。

sudo service datanode onestart

HDFSのテスト

hadoop コマンドで HDFS にアクセスして、ディレクトリを作成し、ls で確認してみましょう。

$ sudo -u hdfs hadoop fs -mkdir /foo
$ sudo -u hdfs hadoop fs -ls /
Found 1 items
drwxr-xr-x   - hdfs supergroup          0 2018-05-19 20:34 /foo

以上で、動作確認は終了です。

hdfs コマンドのユーザを変更しない場合、パーミッションがないとエラーになります。

ore$ hadoop fs -mkdir /ore
mkdir: Permission denied: user=ore, access=WRITE, inode="/ore":hdfs:supergroup:drwxr-xr-x

メモ

namenode と datanode を起動したつもりになって hadoop コマンドを叩いていたが、はじめは接続できなくて困った。 namenode をフォーマットしたつもりだったが、 sudo hdfs namespace -format でフォーマットしていたので、 /tmp/hadoop-root/ でファイルが作られていた。接続できてなくて、何のデーモンが動いてないのだろうと思って、調べていったら、 namenode が問題だということが分かった。 core-site.xml を書く必要があったのか、わからなくなってしまったが 、 sudo -u hdfs と hdfs コマンドの実行ユーザを変えて、 namenode をフォーマットすることで、 namenode が起動するようになった。

たしか、こんなエラーが出てました。

$ hadoop fs -ls /
ls: Call From localhost/127.0.0.1 to localhost:8020 failed on connection exception: java.net.ConnectException: 接続が拒絶されました; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

---