Hive

HadoopのサブプロジェクトのHiveについて記載します。

概要

HiveはApacheのトッププロジェクトであるHadoopのサブプロジェクトとなります。
HiveはHiveQLというSQLライクな言語でHadoop処理を実行することができます。

http://hive.apache.org/

実行方法は他のRDBと似通っており、大まかに以下のような形になります。

1. 入力用・出力用のテーブルをクリエイト
2. SelectInsert文で処理を実行

ユーザーが利用する時に行うことは、この入力用・出力用のテーブル文作成、SelectInsert文の作成といったところです。 また通常のSelectInsert文だけでは対応できない場合に、UDF(UserDefinedFunction)というユーザー定義関数の作成が可能ですので、そちらを作成して対応することになります。
UDFはjavaで記載することになります。

SelectInsert以外でデータを投入する場合は、LOAD DATAが利用できる（MySQLの"LOAD DATA LOCAL INFILE ～"とほぼ同様）ので、こちらでデータ投入することも可能です。

注意点

• HiveQLはSQLライクなだけで完全にSQLと同様の関数や記載方法ができるわけではありません。
  • 文字列を連結して出力したい場合にも、演算子ではなく関数を利用して連結することになります。
  • ソート処理も複数の指定方法があり、それぞれ挙動が大きく異なるので注意して下さい。
• 作成したテーブルからSelectでデータ参照が可能ですが、レコード単位での削除や更新はできないので、再度SelectInsertでデータの入れ替えとなります。
• カウントを取得する時は"select count(1) from mytable;"のようにします。アスタリスクは指定できません。

←ポチッ！とブログランキング！