移転のお知らせ

こんにちは、サイオステクノロジー 村田です。

日頃よりSIOS ビッグデータ技術ブログをご利用頂きましてありがとうございます。
この度、サイオステクノロジーはビジネスに活用できるOSSおよびBigDataの情報ポータルサイトを公開しました。

サイオスならではの、商用OSSディストリビューションの情報から、OSSやBigDataの技術情報が集まる、ビジネスに活用できる情報の提供を目的にしたサイトとなります。

ぜひ、新しいサイオス OSSポータルサイトをよろしくお願いします。

サイオス OSSポータルサイトでは下記のメニューを提供していきます。今後の更新をご期待ください。

  • Red Hat Ch.
  • Oracle Ch.
  • SUSE Ch.
  • EnterpriseDB Ch.
  • OSSよろず契約社 Ch.
  • よろずブログ
  • ビッグデータ ブログ
  • ゲストブログ
  • OSS Now!
  • みみより情報

※本ブログサイトの新規記事も今後はSIOSxOSSポータルサイトにて公開されます。過去記事は今後も残りますので合わせてご活用ください。

これに伴い、ビッグデータ技術ブログはこちらに移転いたします。
今後もよろしくお願いします!

BigData最新動向 ~ IoT(Internet of Things)を中心に

BIG DATA 最新動向 IoT(Internet of Things)を中心に
〜IoT領域でのクラウドビッグデータサービス活用とデータ分析について考える〜


PCやスマホだけでなく家電、車、医療器具、建築物等、インターネットにつながるモノの数は指数関数的に拡大すると予想されており、IoT分野がビッグデータ活用の本丸として注目されています。IoTのプロジェクト推進を検討している方向けの内容です。

開催日:2014年11月17日(月)

時間 :13:30-17:30 (受付開始 13:15)

場所 :東京都目黒区下目黒1-8-1 アルコタワー19F

主催 :アマゾンデータサービス ジャパン/サイオステクノロジーテクノスデータサイエンス・マーケティング/トレジャーデータ

参加費:無料定員 :120名

ご連絡:treasure-data@sios.com (サイオステクノロジー セミナー担当)

お申込み/詳しい情報はこちら


弊社よりビッグデータチームのマネージャーである勝木が登壇します!

Treasure Query Accelerator 14日間無料トライアル

こんにちは、大村@SSTDです。先日、トレジャーデータ社のWEBサイトにリリースノートのページが存在することを先日紹介いたしましたが、今日は10月7日に発表になったお知らせを紹介します。

これまで有料プランでのみで利用可能だったTreasure Query Acceleratorの機能が新規登録後、14日間試せるようになりました。

参照記事:『Prestoとは何か,Prestoで何ができるか

Treasure Query Acceleratorは弊社も販売しておりますが、いままでこの機能を試すためには有料プランをご契約していただくしかなかったのですが、サインアップを行うだけで14日間試せますので、気になっていた方にもお試しいただけるようになりました。画面の上部にはあと何日試せるかのカウンターも表示されるようになりましたので、是非この機会にお試しください!!また、お困りのことがありましたらお気軽にご相談くださいますようお願いします!

執筆:大村@SSTD 

Azkabanを使って依存関係のあるジョブの管理を行う(インストール編)

こんにちは、高橋@SSTDです。 複数のサービス間でデータ連携したりするには、データフローの中に必ずバッチ処理が必要となります。 これは、ビッグデータを扱う際にも同様で、全ての処理をリアルタイムに行うことは残念ながら難しく、Hadoop等の大規模分散処理を得意とするバッチ処理型ツールを用いて、データの正規化等を行う必要がでてきます。 このようなシステムの運用を行うときには、依存関係が複雑になってしまい、バッチ処理のエラーハンドリングやエラー通知、障害発生時のリトライが非常に重要となります。 この問題を解決するために、linkedin社が中心に開発を進めているオープンソースのジョブ管理システムAzkabanについて、今回はご紹介します。

Tableau Server/OnlineへTreasureDataのクエリ実行結果を出力する

こんににちは、SSTDの髙橋です。 先日、トレジャーデータのResult Outputの新機能として、Tableau Server/Onlineへのクエリ結果書き出しが可能になりました。 これによって、Tableau Server/Onlineでダッシュボードを作っておくだけで、 データの定期更新ができるようになります。 今回はTableau Onlineを使って、この機能について紹介していきます。

日本OSS推進フォーラム主催 「今使える“オープンソースソフトウェア”の最新動向」

こんにちは。SSTDの大村です。ブログの更新が滞っており申し訳ありませんが、本日はセミナーのお知らせがあります。

弊社黒坂が理事&副部会長を務めます OSS 推進フォーラムのセミナーがきたる9月16日(火)に開催されます。
トレジャーデータ株式会社 代表取締役 三橋氏も登壇なされますので興味のある方は是非ご参加ください!!

--- 【参加費無料】最新 OSS セミナー情報

 ☆ 企業にて本当に使える OSS とは?
 ☆ ビッグデータシステムでは、どのような OSS を使うべき?
 ☆ ビッグデータ&クラウドを支える OSS の技術とは?

日本 OSS 推進フォーラム主催の本セミナーにて、OSS を推進する
企業や団体における各種調査レポートを公開、解説します。
今を生き抜くシステムエンジニア、そして、企業IT責任者に役立つ
情報が満載のセミナーとなります!

-----------------------------------------------------------------
今使える "オープンソースソフトウェア" の 最新動向セミナー
-----------------------------------------------------------------


主催:日本 OSS 推進フォーラム クラウド技術部会
日時:9月16日(火) 14:00 ~ 16:40  (受付13:30~)
費用:参加費無料
場所:株式会社日立ソリューションズ
   JR 品川イーストビル 20F セミナーホール

発表内容:

・OSS 最新動向
 ~2013年度オープンソースソフトウェア活用動向調査報告~
 (LinuxFoundation SI Forum 吉田行男)

・OSS によるビッグデータシステム
 ~動向調査結果と選択方針について~
 (株式会社日立製作所 中島雅彦、日本電気株式会社 中島武史)

・OSS がドライブするビッグデータクラウドサービスについて
 (トレジャーデータ株式会社 代表取締役 三橋秀行)


※ セミナー詳細、申し込みはこちらからお願いします。
  http://connpass.com/event/8243/


Postfixのログをfluentdを使ってTreasureDataに送る

こんにちは、SSTDの髙橋です。 前回の更新から日が空いてしまいましたが、引き続き継続して情報発信をしていきたいと思います。

さて、社内メールにGmailなどのクラウドサービスを使うことは一般的になってきましたが、それでも社内メールサーバと連携することは一般的です。 そうした中で、メールサーバに障害が発生した際に、SSHしてメールサーバのログを必死に読み解いていくはなかなか面倒です。 そこで今回は、Postfixのログをfluentdを使ってTreasureDataに送ってみたいと思います(td-agentをご利用の方はfluentdの箇所をtd-agentと読み替えて御試し下さい)。

【新機能】Treasure Dataの別アカウントへのデータの書き出し

こんにちは、SSTDの大村です。Treasure Data社のWebページがいつの間にか変わっていたことにお気づきでしょうか?日本語版もできてます。何カ国語で表示されるようになるのか今後が楽しみですね。





ところでTreasure Data社のページにRelease Notesのページがあることはご存知でしょうか?Treasure Dataに新機能が追加されたら、こちらに報告されます。どんどん新しい機能が追加されるので目が離せませんね。弊社のTwitterでも報告していますのでよろしくお願いします。

はじめてのElasticsearch

こんにちは、SSTDの大村です。お久しぶりです。春も終わって初夏になった感じですが、いかがお過ごしですか。息子もいつの間にか小学生になってしまいました。その息子の成長速度よりも早いと思われるビッグデータ界隈ですが、アラフォーの私ではついていけないほどにどんどん新しい技術が出てきますね。このブログを利用して、亀の速度ですが理解を深めていきたいと思います。



今回はかなり流行っていると思われるElasticsearchを動かしてみます。
Elasticsearchはリアルタイム分散検索&分析エンジンで、RESTfulなAPIを提供し、オープンソースなのが特徴です。Kibanaという見た目がよい可視化分析ツールも利用できることから、人気があるようです。Treasure DataでもおなじみのJSON形式で設定や検索ができます。

AWS Casual Talks#2 の参加報告 #awscasual

こんにちは、髙橋@SSTDです。

先日開催されたAWS Casual Talks#2に参加しました。 今回は、「AWS新サービスあれこれ」というテーマで、Redshift/Kinesis/CloudTrail などのAWSの新サービスについて実際に使ってみてどうなの?ということを中心とした内容でした。

私自身もAWS EC2やS3などはよく利用しますが、AWSの提供するサービスの範囲が広すぎるため、AWSの全てのサービス内容の把握が大変です。 そのため、こうした機会に、自分が普段使わないサービスについて知ることができることは非常に嬉しいですね。

余談ですが、AWS Test Driveの日本語版が発表され覗いてみたところ、弊社のLifeKeeperが掲載されておりました。 ぜひLifeKeeper for AWS Test Driveをお試し下さいませ。

Tableau Server で初めてのグラフ共有

こんにちは,髙橋@SSTDです.

前回の記事で,弊社の大村がTableau Desktopについてご紹介しましたが、 Tableau Desktopには、 Tableau for Studentsというライセンスがあり、 学生には1年間Tableau Desktopのライセンスを無償で提供していたりもします。 また、Academic Programsというプログラムもあり、大学の講義での利用についても推奨していますので、ご興味が有る方がいらっしゃいましたら、ぜひこちらからご連絡下さいませ.

さて、今回は、前回の流れに乗って、Tableau Serverの紹介をしたいと思います。

Tableauで初めてのグラフ

お久しぶりです。SSTDの大村です。今年初めての執筆になります。昨年は日経LinuxにTreasure Dataに関する記事を全5回で執筆させていただきました。関係者各位のご協力の元、無事、完走することができました。ありがとうございます。

さて、弊社はTableau Softwareの日本における正規販売パートナーなのですが、今年はさらにTableauの販売に力を入れていきます。そこで、本ブログでもTableauの利用方法を紹介していきます。

TableauとはBIツールなのですが、WEBサーバ上で動くBIツールが多い中、ローカルで手軽にレポートの作成や分析が行えるツールです。

センサーデータを収集する(ibeacon -> Node.js -> Treasure-Agent(td-agent) -> TreasureData)

こんにちは、高橋@SSTDです。 私的な話ですが、先日iphone5sを購入しました。せっかくなのでそのiPhoneを使ったセンサーデータ収集について紹介したいと思います。

iphone5sから、iBeaconと呼ばれる近距離無線通信機能を利用することができるようになりました。 iBeaconでは、数十メートル離れた場所にいるユーザに向けて情報を発信できることから、O2O(Online to Offline)などでの発展が期待されています。 そこで今回は、iBeaconでやり取りされるセンサーデータをTreasureDataに収集していきます。

下記の動画は、iPhoneとestimoteと呼ばれるiBeaconを用いたセンサによるショッピングでの活用イメージムービーです。

TalendとTreasureDataを組み合わせて利用する

明けましておめでとうございます。 SSTDの髙橋です。 本年もビッグデータに関する情報発信を頑張って行きますので、どうぞ宜しくお願い致します。

新年第一回の記事は、ETLツールのTalendとTreasureDataについての記事です。 私たちが普段扱うデータは、事前にデータの加工が必要だったり、または第三者からデータを頂いてそのデータを代わりにTreasureDataにアップロードするなどの一手間が必要なことが多いです。 このような場合に、ETLツールを使ってデータを集約してアップロードするということが容易にできれば、データのアップロードという作業の手間を減らすことができるかと思います。