PigによるTreasureDataのデータ処理

こんにちは、髙橋です。 暑い日が続いていますが、皆様はいかがお過ごしでしょうか。

私は先日、『プログラミング Hive』 『Hadoop 第3版』刊行記念 Hadoopセミナーに参加してきました。 セミナーでは、Cloudera社の方や書籍翻訳者の玉川さんのお話を伺うことができ、充実した時間を過ごすことができました。 また、セミナー最後のグッズプレゼントのじゃんけん大会では、景品になっていたHiveTシャツに心惹かれたのですが、残念ながら初戦敗退でした…

Hadoopセミナーのように、ビッグデータに関連するセミナーや勉強会も盛んに行われていますので、夏休みのある方はビッグデータについて勉強する絶好の機会だと思います。 さて、前ふりはこれくらいにして、今回のブログの内容は、Hiveの対抗馬であるPigについてです。

Treasure DataにおけるHiveQLのTips

 こんにちは、今回のブログ担当 高橋です。
 本題とは逸れますが、ビッグデータに関連するトレンドとして、M2M(Machine to Machine)やIoT(Internet of Things)と呼ばれる技術があります。 SIOSビッグデータチームとしても、これらの技術によって大量に収集されるデータには注目しています。 これらの技術を個人で実現可能なプログラマブルデバイスとして、ArduinoやRaspberry Piが普及してきています。 特に、Arduinoは、接触センサや赤外センサなど各種センサを実装でき、なおかつBluetoothやZigBeeなどの通信モジュールの実装も可能です。 例えば、複数台のArduinoを組み合わせて自宅内センサネットワークを構築し、日常生活の見える化ができたら楽しそうですね。 こうしたビッグデータを生み出す様々なアイデアを実現するために、私たちも日々、ビッグデータ関連技術についての調査も進めています。
 さて、それでは本題に入ります。今回のブログのテーマは、HiveQLです。

Treasure Data - JDBC Driver

こんにちは、二日連続でSSTDの大村です。昨日は新社屋に舞い上がってビッグデータと何の関係もない記事を出してしまいましたので、今日はこちらのページのJDCB Driverのサンプルを実行してみた様子を紹介します。

ダウンロード

まずはJDBC Driverをダウンロードします。

JDBC Driver Download(2013/04/12 v0.2.2)

今回はダウンロードしたファイルを「C:\td\」の下に置きます。

treasure-data.propertiesの準備

notepad.exeなどでファイルを作成し、下記の2行をC:\td\treasure-data.propertiesに保存します。

td.logger.agentmode=false
td.api.key={td apikey:showで取得できるキー}

JDBCSample.javaの準備

本家のJDBCSample.javaをnotepad.exeなどでC:\td\JDBCSample.javaに保存します。26行目はご自身のメールアドレス、27行目はご自身のパスワードを入力してください。

CLASSPATH設定、コンパイル、実行

コマンドプロンプトを開いてCLASSPATHにダウンロードしたjarを設定します。事前にjavac,javaコマンドが実行できるよう設定しておきます。

実行すると一番下にwww_accessのレコード数が表示されます。

引越し報告

こんにちは、SSTDの大村です。梅雨も終わり暑さが厳しくなってきましたが、皆様いかがお過ごしですか!?ありがたいことにSSTDも熱い夏をすごすことができそうです。

さて、手前味噌で恐縮ですが、弊社の本社屋が7月16日に南麻布に移転しました。今回は番外編として新社屋の紹介をいたします。

新オフィスの詳細はこちらをご覧ください。
http://i.sios.com/news/info/iten-20130708.html

お客様をお迎えする受付の写真です。たくさんのお花をいただきましてありがとうございます。

トレジャーデータ社CEOの芳川様からもお花をいただきました。ありがとうございます。

splunk>live!の参加報告とSplunkの導入方法の紹介

ご無沙汰しております、今回のブログ担当の髙橋です。 猛暑が続いておりますが、皆様はいかがお過ごしでしょうか。 私たちビッグデータチームは、暑さに負けず、ビッグデータに関連するBIツールやDWHの調査を行っております。 その一環として、7月5日に開催されたsplunk>live!に参加しましたので、その報告とSplunkの導入方法を紹介致します。

splunk>live!の報告

以下の5つの発表が行われました。
  1. Splunkの概要とデモ
  2. 事例:稼動データ活用による昇降機メンテナンスサービス
  3. 事例:標的型サイバー攻撃への実践的対策
  4. 事例:MDMサービスでのSplunkを活用したサービス監視
  5. Splunk最新製品動向

Google BigQuery - bq command編

こんにちは、三回連続でSSTDの大村です。1年の半分がすぎてもう7月ですね。私事ですが、弊社の社屋移転まで10日あまりとなりました。各種説明会、片付けなどで社内がばたばたしています。当たり前のように通勤していたオフィスですがあと10日で別の場所になるのかと思うと急にセンチメンタルな気分になります。

前回までウェブインターフェースであるBigQuery BrowserからBigQueryを操作していましたが、コマンドラインから操作するためのbq Command-line Toolも用意されています。このbqはpythonベースのツールになっています。今回はbqの設定をし、簡単なコマンドの入力までを紹介します。