• English

PRESS RELEASE（技術）

2011年12月16日
富士通株式会社
株式会社富士通研究所

ビッグデータの負荷増減にすばやく対応する分散並列型の複合イベント処理技術を開発

これまでにない大規模な時系列データを、リアルタイムに、ノンストップで解析可能に

本研究の一部は、経済産業省からの平成22年度、23年度の委託業務「次世代高信頼・省エネ型IT基盤技術開発・実証事業」として実施したものです。

複合イベント処理とは

複合イベント処理は、ビッグデータから価値のある情報をリアルタイムに引き出すための手法です。 データベースで大量なデータを処理する手法では、データをディスクなどに一度格納するため、リアルタイムな処理には不向きでした。 これに対して、複合イベント処理では、図1のように入力される複数の時系列データに応じて、あらかじめ定義したルール（クエリ）にもとづいた処理をメモリ上で行うため、データベースに格納する手法よりも非常に高速に処理することができます。

開発の背景

近年、センサーデータや人の位置情報などの時系列データを代表とする、多種大量なデータが飛躍的に増え続けています。これらのビッグデータから、いかに価値ある情報を効率的に引き出し、各種のナビゲーションなどに素早く役立てられるかが強く求められています。

課題

時系列データを高速に分析して、その結果を活用するために複合イベント処理技術が利用されてきました。しかし、絶え間なく送られてくる時系列データをリアルタイムに処理しながら、メモリ上にある分析処理中のデータをサーバ間で高速に移動することが技術的に困難でした。このため、季節や時間帯、あるいは災害や事故が起きた場合など、時系列データが大幅に増減することを事前に想定してピーク時に必要となるリソースで構成するか、一度複合イベント処理を止めて構成変更するなどの必要がありました。

開発した技術

今回、負荷増減にすばやく対応して動的に分散並列処理できる複合イベント処理技術を開発しました。この技術は、処理を細粒度化し、その細粒度化された処理を実行中に他のサーバに移動する技術、および移動させる処理候補を最適に選択する技術によって構成されています。これにより、時系列データの負荷増減にすばやく対応して、イベント処理全体をサーバ間で動的に拡張・縮退可能とするとともに、処理自体の高速化も実現しています。

開発した技術の特徴は、以下の通りです。

1. 分散並列処理技術の適用による、複合イベント処理の動的な負荷分散技術

   図2のように、クエリ、およびクエリ内の並列データを複合イベント処理の管理単位として細粒度化し、時系列データの負荷増減に対応して、この処理単位をサーバ間で動的かつ高速に分散・移動（ライブ・マイグレーション）する技術を開発いたしました。動的分散方式としては、「データ並列分散」と「クリエ分散」の2方式を実現しています。これにより、限られたリソース内で、負荷増減の状況に合わせたリアルタイムな動的分散処理が可能となります。また、シンプルなクエリを処理した場合、毎秒500万イベントの処理性能を達成しています。

   
   図2 分散並列型複合イベント処理の基本構成
   拡大イメージ

2. 負荷の増減状況に合わせた、最適な移動処理候補を選択する技術

   負荷増減の速度や、各イベント、各クエリなどの性質や処理負荷の状況にもとづき、負荷を効率的に分散でき、かつ移動による影響が最も少ない処理を移動対象とする技術を開発しました。たとえば、関連性が強いクエリを極力同一サーバ上に割り当てて高速処理を維持する工夫などを実現しています。

効果

本技術は、あらゆる場所で的確なサービスを提供するヒューマンセントリック・コンピューティングを支える技術の一つであり、ビッグデータを処理する際に、高い処理性能を維持しながら、複合イベント処理を止めずに負荷の増減に対応することを可能にしました。 これにより、図3のように、クラウドや自社設置（オンプレミス型）システムで、これまでにない大規模な時系列データを、処理に必要なリソースだけを使用して、リアルタイムに、ノンストップで解析するサービスが可能になります。また、柔軟に構成変更に対応できるため、厳密なリソースの見積もりが不要となり、スモールスタートが可能です。

今後

開発した技術は、2012年度内の実用化を目指します。大量のセンシングデータを収集、蓄積、分析することによって抽出した価値ある情報の活用を実現する富士通のコンバージェンスサービス・プラットフォームやミドルウェア製品への展開など、さまざまな用途への適用を進めて行きます。

商標について

記載されている製品名などの固有名詞は、各社の商標または登録商標です。

注釈

注1 富士通株式会社：

代表取締役社長 山本正已、本社 神奈川県川崎市。

注2 株式会社富士通研究所：

代表取締役社長 富田達夫、本社 神奈川県川崎市。

注3 複合イベント処理：

Complex Event Processing（CEP）。2000年頃から本技術の研究が始まり、金融中心に利用されてきましたが、近年、さまざまな分野で、センサーデータなどのビッグデータのリアルタイムな解析に活用され始めています。「データストリーム処理」、「ストリームコンピューティング」とも呼ばれています。

注4 毎秒500万イベントの処理性能を達成：

「PRIMERGY RX200 S6」サーバ上の仮想マシン環境において、シンプルなCEPクエリの実行スループット性能として達成。たとえば、人の位置情報が5秒間に1回受信される場合、2,500万人まで検出可能な性能。

---