スポンサーリンク

このドキュメントの内容は、以下の通りです。

はじめに


久しぶりに使おうとすると、まったく記憶がなくなってるのでメモっておきます。

事前準備


  • Hadoop をダウンロードする
  • Hive をダウンロードする

今回使用したバージョン

  • hadoop-1.0.3
  • apache-hive-0.13.1-bin

Hiveを起動する

$ export HADOOP_HOME=/home/kaworu/Hadoop/hadoop-1.0.3
$ ./bin/hive

テーブルを作成する

> create table test(host string , num int) ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n';
create table test(host string , num int) ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n';
OK
Time taken: 0.325 seconds

** CSVファイルを読み込む:

data.csv の中身は以下の通りです。
[src]
a,1
b,2
c,3

hive> LOAD DATA LOCAL INPATH './data.csv' OVERWRITE INTO TABLE test;
LOAD DATA LOCAL INPATH './data.csv' OVERWRITE INTO TABLE test;
Copying data from
file:/home/kaworu/Hadoop/apache-hive-0.13.1-bin/data.csv
Copying file:
file:/home/kaworu/Hadoop/apache-hive-0.13.1-bin/data.csv
Loading data to table default.test
Deleted hdfs://localhost:9000/user/hive/warehouse/test
Table default.test stats: [numFiles=1, numRows=0, totalSize=12, rawDataSize=0]
OK
Time taken: 0.545 seconds

selectでの問い合わせ

hive> select * from test;
select * from test;
OK
a       1
b       2
c       3
Time taken: 0.271 seconds, Fetched: 3 row(s)
hive> select * from test where num=2;
select * from test where num=2;
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce
operator
Starting Job = job_201408042345_0001, Tracking URL =
http://localhost:50030/jobdetails.jsp?jobid=job_201408042345_0001
Kill Command =
/home/kaworu/Hadoop/hadoop-1.0.3/libexec/../bin/hadoop job  -kill
job_201408042345_0001

Hadoop job information for Stage-1: number of mappers: 1; number
of reducers: 0
2014-08-05 00:32:15,193 Stage-1 map = 0%,  reduce = 0%
2014-08-05 00:32:21,228 Stage-1 map = 100%,  reduce = 0%
2014-08-05 00:32:27,259 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201408042345_0001
MapReduce Jobs Launched:
Job 0: Map: 1   HDFS Read: 221 HDFS Write: 4 SUCCESS
Total MapReduce CPU Time Spent: 0 msec
OK
b       2
Time taken: 28.396 seconds, Fetched: 1 row(s)

スポンサーリンク
スポンサーリンク
 
いつもシェア、ありがとうございます!


もっと情報を探しませんか?

関連記事

最近の記事

人気のページ

スポンサーリンク
 

過去ログ

2020 : 01 02 03 04 05 06 07 08 09 10 11 12
2019 : 01 02 03 04 05 06 07 08 09 10 11 12
2018 : 01 02 03 04 05 06 07 08 09 10 11 12
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12
2003 : 01 02 03 04 05 06 07 08 09 10 11 12

サイト

Vim入門

C言語入門

C++入門

JavaScript/Node.js入門

Python入門

FreeBSD入門

Ubuntu入門

セキュリティ入門

パソコン自作入門

ブログ

トップ


プライバシーポリシー