CSVからMessagePack形式への変換スクリプト

 初めまして、本年度サイオステクノロジー新入社員の髙橋達です。 4月から、Treasure Data(以下、TD)チームに配属となり、ビッグデータやクラウドソリューションについて勉強をしています。 元々、環境知能という研究分野に携わっており、SNSやカメラなどの環境センサを駆使して、人の行動を分析し、ロボットやスマホなどで人にサービスを提供することを目指すという研究を行っていました。 今後は、ビッグデータやTDについて、情報発信をして行けるように頑張ります。

 さて、話は変わって、今回は、TDにデータを一括でアップロードする際に利用するMessagePack(msgpack)に関するプログラムを紹介します。

1. csvからmsgpackへの変換

1.1. 概要

 TDでは、ファイルのインポートには、JSON形式かmsgpack形式のどちらかで行う事が可能です。 そのため、ログデータで用いられることが多いcsv形式からmsgpack形式に変換することが多々あります。 そこで、csv形式のファイルからmsgpack形式に変換を行い、msgpack形式のファイルをTDにアップロードするという一連の流れを追いながら、 プログラムの説明を行いたいと思います。

Treasure Dataを使ってみよう! その2

こんにちは、SSTDの大村です。この記事はTreasure Dataを使ってみよう! その1の続きです。

ログイン

それでは次はチュートリアルのステップ2に従って、自分の領域を利用するためにログインしましょう。

>td account -f
コマンドラインに上のコマンドを入力したら
Enter your Treasure Data credentials.
Email:
と表示されるので登録したメールアドレスを入力します。
Password (typing will be hidden):
次はパスワードです。入力しても何も表示されませんが、パスワードを打ち終わったらEnterしましょう。
Authenticated successfully.
Use 'td db:create ' to create a database.
と表示されれば成功です。

Treasure Dataを使ってみよう! その1

こんにちは、SSTDの大村です。またお前か!と思わずに他のメンバーもそのうち登場しますんでお楽しみにしてください。

さて、TreasureDataというものの存在はわかったら、まずは使ってみたい!と思うのが人情ってものです。その場合はどうしたらいいのでしょう?
電話?メール?契約?入金?
ノンノンです。
まずはTreasureDataにアカウントを作成し、無料版のTreasureDataを使ってみてください!

Treasure Dataにアカウントの作成

まずはTreasure Dataのサイトにアクセスします。http://www.treasure-data.com/

上の画面のSign UPアカウント作成のどちらかのボタンをクリックします。

SSTD発足のご挨拶

はじめまして、SSTDの中の人をしていますサイオステクノロジーの大村です。

2013年4月1日にSSTDは活動を開始しました。そして活動開始を記念してブログを始めることになりました!!日々の業務やビッグデータ関連の技術について紹介、調査、評価などを行います。

勝手に盛り上がっているけどSSTDってなに?と思いますよね。SIOS Support for Treasure Dataの略なんですが、和訳するとビッグデータ導入支援サービスとなります。主にTresure Dataの導入サポートとその関連技術に関する質問に回答する日本の窓口になります。平たく言うとTreasureDataの日本のサポート部隊です。サイオステクノロジーはTreasure Data販売の日本の代理店なのですが、売りっぱなしじゃないぞ!ってことです。

サポート部隊といってもお客様から質問されてから調べるわけではなく、日々Treasure Dataやビッグデータまわりの学習、調査や研究をしているのでその過程で蓄えたKnowledgeをブログにも書いていきます。

ところで、Treasure Dataってなに?という方もいるかもしれません。米国で起業なさった日本人のエンジニア集団であるトレジャーデータ社が提供しているサービスの名称です。詳しくはリンク先をご覧ください。Hadoopの問題点を克服し、簡単にたくさんのデータを扱うためのサービスです。Treasure Dataによってあなたも明日から簡単にビッグデータと触れ合うことができるようになるのです。

最初はたいしたことが書けないかもしれませんが、一緒に成長していきましょうね。

執筆:大村@SSTD