• English

PRESS RELEASE （技術）

2014年4月14日
株式会社富士通研究所

40Gbpsの通信データを蓄積しながら高速検索する技術を開発

業界で初めてソフトウェアで実現し、安価にネットワーク品質を向上

本技術は、5月15日（木曜日）、16日（金曜日）に東京国際フォーラム（東京都千代田区）で開催する「富士通フォーラム2014」に出展します。

開発の背景

スマートフォンやタブレットなどの端末の普及により、通信ネットワークにおける品質が重要視されていますが、現実的にはネットワークのデータ流量増大や複雑なトラフィックパターンなどによる思わぬ通信障害、ネットワークを通じた情報の漏えいなどが増えています。障害の原因追究やセキュリティ強化のためには、ネットワークや端末にどのような事象が発生したかを詳細に把握し、証拠を保全する必要がありますが、統計情報やサンプリングなどの一部のデータではなく、通信データをすべて蓄積しておき、高度な解析をするために目的のパケットデータに高速にアクセスする機能が求められています。

課題

ネットワークの通信データを蓄積し、解析するためには、データの流れを捉えるキャプチャー処理とディスク装置に蓄積する性能、および蓄積された通信データから目的としているデータを検索する性能が重要であり、通信速度が高速になるほど、より高い処理性能が求められます。

通信データは次々に送られてくるため、その最大のペースに遅れることなくキャプチャーして蓄積する必要があり、従来は専用のハードウェアが使用されていました。また、通信データを分割したパケットを高速に検索できるようにするためには、パケットの到着時刻に加え、検索条件に応じた加工をして蓄積する必要があります。

開発した技術

今回、40Gbps以上の高速なキャプチャー、蓄積および高速検索システムを汎用ハードウェアとソフトウェアだけで実現しました（図1）。

スケーラブル蓄積部は、ディスク容量の拡張性と並列書き込み性能を確保するため、汎用のサーバを複数組み合わせてストレージとして構成しています。

ストリーム解析部は、パケット解析のような逐次処理を高速化するため、いくつかの段階（ステージ）に分けて順番に処理しています（図2）。

パケットは、キャプチャーの際に検索属性に基づいて分類して蓄積しているので、例えば通話や端末ごとの通信セションといった論理的な単位で高速に検索できます。

今回開発した技術の特長は以下のとおりです。

1. 排他制御の不要化とディスク読み書き性能の向上

   パケットを時刻や送信元などの単位で分類します。パケットはバッファーにまとめて格納し、逐次書き込み処理を行います。まとめて書き込むことでディスクへアクセス回数を低減するとともに、ほかの処理を待たずにすみ、ステージ間の処理時間が異なることに起因するデータあふれを抑止することが可能です。

2. データコピーの抑止

   パケット解析を行うストリーム解析部では、ステージ間のデータの受け渡しの際にパケットのコピーをせず、解析結果を参照可能にしました。これにより、コピーとロックを不要にしました。

上記技術により、一般的なストリーム処理で使用される待ち行列データ構造であるキューが不要になり高速化を実現しました。

効果

40Gbpsの高速ネットワークに流れる大量のパケットの長時間蓄積・検索を、汎用ハードウェアとソフトウェアだけで実現できるため、サンプリングや短期の観測では見逃していたネットワークボトルネックや隠れたアタックなど、ネットワークに起きた事象を低コストで確実に捕捉できます。

本技術により、例えば、通信障害が発生した際に、その時間の前後に流れたパケットの一覧を検索することで障害解析を迅速に進められます。また、ウイルスに感染したPCが見つかった場合、そのPCがどこと通信したのかといった証跡を取得することができます。これらにより、ネットワーク品質の向上、データセンターの運用安定化やセキュリティ強化などに活用することができます。

今後

富士通研究所は、通信データの蓄積と検索処理性能のさらなる向上と実証実験を進め、2014年度中の実用化を目指します。

商標について

記載されている製品名などの固有名詞は、各社の商標または登録商標です。

注釈

注1 株式会社富士通研究所：

代表取締役社長 佐相秀幸、本社 神奈川県川崎市。

---