ページトップへ
ビッグデータの分散処理を支えるオープンソース、Apache Hadoopの国際イベント「Hadoop Summit 2016 Tokyo」(2016年10月26日〜27日)が西新宿のヒルトン東京で間もなく開催されます。今回も引き続き、ホスト企業であるホートンワークスジャパン株式会社のマーケティングディレクター北瀬公彦氏にお話を伺います。


一筋縄ではいかなくなったデータ分析

マーケティング領域では、検索履歴、Web行動履歴、ECサイトの購買履歴、POSデータ、SNSなどへの書き込みデータ、コールセンターへの問い合わせデータ、クレジットカード決済履歴データ、広告配信データなどが、そしてIoT領域では、センサーデータなどが増大の一途をたどる今、企業は何をなすべきなのでしょう。

ホートンワークス社には、蓄積されたデータ「Data at Rest」を扱うHORTONW0RKS DATA PLATFORM (HDP®)と、IoTの登場により注目されるようになった、流れているデータ「Data in Motion」を扱うHORTONWORKS DATAFLOW(HDF™)という2系統のオープンソース・プロダクトがあります。

蓄積されたデータからは、静的・過去データによる見識を、流れているデータからは動的・鮮度が重要な見識を得ることによって、お客様に最大の価値を提供することを目的としています。今、データに基づく「予測」、その予測に基づく「提案」がますます重要になってきています。

▼左がHDF™、右がHDP®。2系統のプロダクト


象のHadoopと、水滴のNiFi

上の図をよく見ると、HDP®は「powered by Apache Hadoop」、HDF™は「powered by Apache NiFi」と記されています。ここで初めて登場するNiFiとは一体何なのでしょう。

NiFiは元々、米国家安全保障局(NSA)が開発していたプロダクトで、2014年11月にオープンソースとして寄贈されたデータフロー・コントローラーのこと。画面上で情報フローを迅速に制御、管理、分析し、総合的な状況認識を生みだします。(Node-REDに少し似ています)

▼米国家安全保障局が開発したApache NiFi

▼SNSデータを基に、2系統のフローを同時に走らせたデモ

例えば、上のスライドのデモ環境では、ツイッターのつぶやきデータをデータフロー・コントローラーの「NiFi」に通して、1)オープンソースの全文検索システム「Solr(ソーラー)」でリアルタイム処理し、グラフなどに可視化するフローと、2)Hadoopの分散ストレージに送り、少々時間をかけてバッチレポートの作成や機械学習によるモデルの作成させるフローに分けています。この場合は、2系統を同時に動かすという判断を「NiFi」が下したということです。
これはまさに、「流れているデータ」に強いNiFiと、「蓄積されたデータ」に強いHadoopを組み合わせることで、より広い範囲のデータを扱えるようになった一例です。

データを扱える人材の育成が急がれる

AIの機械学習、ディープラーニングのために。爆発的に増加するであろうIoTデバイスからのセンサーデータのために。これらを司るデータサイエンティストは、Harvard Business Review で21世紀の最も魅力的な職業といわれていますが、データを扱える人材は、まだまだ不足しているようです。

▼ホートンワークスジャパン株式会社のマーケティングディレクター北瀬公彦氏

北瀬氏:人材育成の観点では新たにデータサイエンス学部を新設する大学も出てきました。
また、データアーキテクト、データサイエンティスト、CDO(Chief Data Officer)、そういうロールが決まって、はじめて組織として企業としてデータを活用する体制ができあがるといわれています。まずは人材の育成と、体制づくりです。
ぜひ、ビッグデータという貴重なリソースを最大限に活用してください。それが、企業の国際競争力の源泉になります。今回のHadoop Summitで、その可能性を探っていただきたいと思います。

イベント情報

『Hadoop Summit 2016 Tokyo』10月26日〜27日、ヒルトン東京にて開催


Apache Hadoop/Spark、機械学習、データサイエンス、IoT、ビッグデータなど、データ活用の最新動向を一挙紹介します。現在、eBay、Yahoo Japan、Daimler Trucks Asia、Coca-Cola East Japan、楽天、Verizon、LinkedIn、セガ、Criteoなど、データ活用先進企業のスピーカーの登壇が決定しています。ハッシュタグは、#hs16tokyo