スポンサーリンク

このドキュメントの内容は、以下の通りです。

はじめに

FreeBSD に Hadoop2 の環境をセットアップしました。もともと Hive を動かしたかったのですが、Hive を動かすために Hadoop が必要ということで Hadoop のセットアップから始めました。本当は Windows 10 の WSL の Ubunutu の環境でセットアップしていたのですが、エラーに悩んだ挙句、Ubunut は諦めました。

FreeBSD の pkg では
  • hadoop
  • hadoop2 が提供されています。pkg のパッケージの hadoop をインストールすると1系の hadoop がインストールされます。
今回は hadoop2 をインストールします。

インストール


hadoop2 をインストールします。openjdk8 もインストールします。
sudo pkg install openjdk8 hadoop2

設定ファイルの作成

設定ファイルを作成します。
sudo vim /usr/local/etc/hadoop/core-site.xml

core-site.xml の内容は、以下の通りです。
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
	<name>fs.defaultFS</name>
	<value>hdfs://localhost:9000</value>
    </property>
    <property>
	<name>hadoop.tmp.dir</name>
	<value>/tmp/hadoop-${user.name}</value>
    </property>
</configuration>

namenodeのフォーマット

namenode をフォーマットします。
sudo -u hdfs hdfs namenode -format 
フォーマットしていないと namenode が起動しません。

namenodeの起動

namenode を起動します。
sudo service namenode onestart

datanodeの起動

データノードは、以下のコマンドで起動します。
sudo service datanode onestart

HDFSのテスト

hadoop コマンドで HDFS にアクセスして、ディレクトリを作成し、ls で確認してみましょう。
$ sudo -u hdfs hadoop fs -mkdir /foo
$ sudo -u hdfs hadoop fs -ls /
Found 1 items
drwxr-xr-x   - hdfs supergroup          0 2018-05-19 20:34 /foo

以上で、動作確認は終了です。

hdfs コマンドのユーザを変更しない場合、パーミッションがないとエラーになります。
ore$ hadoop fs -mkdir /ore
mkdir: Permission denied: user=ore, access=WRITE, inode="/ore":hdfs:supergroup:drwxr-xr-x

メモ

namenode と datanode を起動したつもりになって hadoop コマンドを叩いていたが、はじめは接続できなくて困った。 namenode をフォーマットしたつもりだったが、 sudo hdfs namespace -format でフォーマットしていたので、 /tmp/hadoop-root/ でファイルが作られていた。接続できてなくて、何のデーモンが動いてないのだろうと思って、調べていったら、 namenode が問題だということが分かった。 core-site.xml を書く必要があったのか、わからなくなってしまったが 、 sudo -u hdfs と hdfs コマンドの実行ユーザを変えて、 namenode をフォーマットすることで、 namenode が起動するようになった。

たしか、こんなエラーが出てました。
$ hadoop fs -ls /
ls: Call From localhost/127.0.0.1 to localhost:8020 failed on connection exception: java.net.ConnectException: 接続が拒絶されました; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
参照しているページ (サイト内): [2018-05-16-1]

スポンサーリンク
スポンサーリンク
 
いつもシェア、ありがとうございます!


もっと情報を探しませんか?

関連記事

最近の記事

人気のページ

はてなの人気のブックマーク

スポンサーリンク
 

過去ログ

2018 : 01 02 03 04 05 06 07 08 09 10 11 12
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12
2003 : 01 02 03 04 05 06 07 08 09 10 11 12

サイト

Vim入門

C言語入門

C++入門

JavaScript/Node.js入門

Python入門

FreeBSD入門

Ubuntu入門

セキュリティ入門

パソコン自作入門

ブログ

トップ


プライバシーポリシー