この記事では、データレイクを活用してIoTを推進している企業の事例やサービス基盤を紹介します。

コネクテッドリファレンスアーキテクチャ

データレイクは、概念が出てきて3年ほど経ちますが、さらに進化しており、データレイクの前段にストリーム処理のエンジンを置く仕組みが出てきています。
これは、特にセンターデータに対して有効です。センサーデータとして垂れ流されてくるデータを、必要に応じて簡易的に処理をする、例えばモバイルデバイスにプッシュするなどした後、必要なデータをデータレイクの方に貯めるような、こういったストリーム処理のエンジンをデータレイクの前に置いて処理を行う事例が増えています。

これらの技術を使ったIoT 向けのクラウドサービス基盤として、Pivotalコネクテッドリファレンスアーキテクチャという基盤が提供されています。
車にセンサーを搭載したり、もしくはOBDのようなモジュールから通信モジュールを介してデータ飛ばしたりして、ストリーム処理のエンジンにデータを送り、処理を行うアーキテクチャです。
例えば、車が事故にあったときの状況を例にしてみましょう。事故が起こったという何らかのセンサーのデータの振る舞いを見て、リアルタイム系の処理のエンジンの方に命令を渡してあげます。そのリアルタイム系の処理のエンジンが、モバイルに情報をプッシュするなどして、保険会社に自動でデータが渡り、保険会社から連絡が行く、などといったことが可能です。
一方で、必要なデータをためておいて、どのようなデータの振る舞いが起こったら事故が発生したという判断を、データの振る舞いを分析することで判断できるように学習していきます。必要に応じて、そのようなことが可能なアプリケーションを開発して、何か新しいアルゴリズムが生まれてきたら、リアルタイム処理のエンジンの方にそのアルゴリズムをフィードバックさせる、というようなことを行なっていきます。
このアーキテクチャは、特に欧米を中心とした自動車会社を始め、様々な製造業の企業が、アーキテクチャそのままであったり、一部をカスタマイズしたりして提供しています。

D3d785434ac0d07bbcbeab993b2db1ff866bcf76
図1 コネクテッドリファレンスアーキテクチャ

運転行動分析

直近での自動車業界における面白い取り組みとして、「Driving Behavior Analysis」(運転行動分析)というものがあります。
走行中のセンサーデータを収集し、それを1千万行の緯度経度、センサーデータ、ドライバー3人のデータを抽出して、分析をしたという海外の事例があります。米国では、このような事例が増えてきています。

データレイクアーキテクチャ 導入事例

データレイクのアーキテクチャを導入した事例を、いくつか紹介します。

E6a652195f143ec74f914ba734f0a2c5d82e8230
図2 データレイク導入事例

富士フイルム社事例

富士フイルム社では、現場力の強化、グローバル展開、新規ビジネスをどう伸ばしていくかなどのビジネス課題がありました。ITの課題については、非常に大量のデータを処理する基盤に掛けるコストが大きく、第1の課題としてあがっています。その裏返しになりますが、大容量のデータを格納してくことが非常に難しいというが2番目課題です。そして、構造化データだけではなく、他の様々なデータ、富士フイルム社が展開している医療系や画像系に分野の、さまざまなデータソースに対応して行きたいという課題もありました。
その課題を、HadoopとSQL on Hadoopの技術でクリアしたという事例になります。
富士フイルム社のような大企業では、何かしら既存のDWHを持っていることが多いですが、皆さんそれに対してコストや大容量化への対応について課題を持っています。

導入事例からわかること

これらの課題に対しては、まず大容量をカバーするために、ビッグデータ基盤という形でHadoopを導入します。
そして、既存DWHのワークロードを少しずつ、こちらのHadoop基盤の方にオフロードしていき、既存のDWHのコストを少しずつ減らしながら移行していきます。
新たに導入した基盤は、既存のDWHと比べて非常に大容量のデータを格納し処理することができますので、全体としてコストを最適化しながら大容量の分析基盤を持つことができるようになります。
さらに、SQL on Hadoopにより、既存のBI、BA系の製品とつなげることができますので、データサイエンティストやビジネスに関わる人が、従来と同じ方法で必要なデータソースにアクセスして、分析できるような基盤を構築できたというのが、この事例の内容です。

7d98d3d70668e9c2348f17aa2ed44e48e14837f2
図3 導入事例からの示唆