多様な通信環境に適用できるデータ転送高速化技術を開発

重複除去と圧縮によりソフトウェアだけでデータ転送速度を最大10倍高速化

株式会社富士通研究所（注1）は、クラウドサービスやモバイルアプリケーションなどで利用する様々な通信環境に適用可能なデータ転送高速化技術を開発しました。

現在、企業における業務システムのクラウド化やデータセンターへのサーバ集約により、複数のデータセンター間や、端末とデータセンター間におけるデータ転送が急増しています。データ転送を高速化するためには回線増強や高速化のための専用ハードウェア導入が考えられますが、コストがかかり、なおかつ、クラウド環境や仮想環境、モバイル環境などへ柔軟に適用することが困難という課題がありました。

今回、重複除去と圧縮により転送データ量を削減し、ソフトウェアだけでデータ転送を大幅に高速化する技術を開発しました。本技術を適用することで実効データ転送速度を最大で約10倍に高速化でき、回線増強のコストをかけずにクラウドサービスなどで利用するデータセンターと端末の間における多様な通信環境でのデータ転送を高速化することが可能になります。

本技術は、5月15日（木曜日）、16日（金曜日）に東京国際フォーラム（東京都千代田区）で開催する「富士通フォーラム2014」に出展します。

開発の背景

近年、クラウドサービスやモバイル端末の普及により、様々な通信環境でネットワークを経由するアプリケーションが利用されています。会社やデータセンターの拠点間において、例えば、ファイル転送やファイル共有、バックアップ、モバイル端末からクラウドへのデータ送受信などが日常的に行なわれています。

このようなデータ送受信に対して、転送量は日々増大しており、回線増強や専用ハードウェアを導入せずにデータ転送を高速化し、回線コストの増加を避けたいという要望が増えています。

課題

富士通研究所では、データ転送を高速化する方法として高速なプロトコルの研究開発を行ってきました。これはネットワークの遅延やパケットロス率が大きいなど、回線の帯域を使い切っていない場合には有効な手法ですが、回線が細く帯域を使い切っている場合には回線を増強する必要がありました。

回線を増強せずにデータ転送を高速化するためには転送データのサイズを削減する方法が有効で、一度送信したデータを送信側と受信側の双方で保存しておき二度目からは同じデータを送らない重複除去技術や、ファイル圧縮などに使われているデータの圧縮技術といった2つの手法があります（図1）。重複除去や圧縮の技術は、ストレージシステムや転送高速化の専用ハードウェアなどに実装され、データ転送量を削減し、実効データ転送速度を高速化することが可能です。しかし、これらの技術をモバイル端末などに適用するソフトウェアで実現するには、以下の課題がありました。

重複除去では一度送信したデータを双方がストレージに保存しておく必要があるため、モバイル端末のストレージなどでは容量が限られ、実現が困難。
一般的なモバイル端末に搭載されたCPUでは、重複除去・圧縮のCPU負荷が高く、通信全体の処理に時間がかかる。

図1 重複除去・圧縮の概要

開発した技術

今回、重複除去と圧縮による転送データ量の削減をソフトウェアで実現し、モバイル端末でも実効データ転送速度を向上できるデータ転送高速化技術を開発しました。開発した技術の特長は以下のとおりです。

高い重複除去性能を実現する省メモリ化技術
ネットワーク上を流れるデータの中で統計的に出現頻度の高いデータだけを選択し、優先的に保存する技術を開発しました。これにより、高い重複除去性能を維持したまま、出現頻度の低いデータがストレージに保存されることを低減できるため、ストレージ容量の少ないモバイル端末にも適用が可能になります。社内実験では、モバイル端末側のストレージに保存する重複データ量を最大約80%削減できることを確認しました。

図2 省メモリ化技術
CPU負荷の低いデータ圧縮技術
圧縮処理のCPU利用率を、最大で従来の約4分の1に削減する、データ圧縮技術を開発しました。データ内に繰り返し出現するデータパターンを探索する際に、パターンが見つからないときは、まばらな間隔で探索を行い、パターンが見つかったときには、その前後のデータを細かく探索することにより、データ全体を効率良く探索し、圧縮処理の時間を大幅に短縮しています。
運用性向上のための自動選択技術
転送データの重複除去・圧縮処理は、転送するデータのサイズが小さく、内容も毎回異なるような状況で利用すると、データ転送速度が低下する場合があります。効果の有無は、送信データサイズ、ネットワークの利用可能な帯域、端末のCPU性能などに依存するため、これらに関する情報を定期的に収集することで高速化効果を予測し、その結果から重複除去や圧縮処理の実施有無を判定する技術を開発しました。これにより、システム運用管理者が適用環境ごとに設定を調整する必要がなく、運用性を向上しています。

効果

今回開発した技術を用いることで、今後、ますます普及が見込まれるクラウドや仮想環境、モバイル環境において、様々な通信アプリケーションを快適に利用することが期待できます。また、ソフトウェアとして実現することで、既存のサーバやOS上に搭載可能で、ノートPC、タブレット端末、スマートフォンなどのモバイル端末でも利用可能な技術です。

例えば、営業の顧客訪問などの利用シーンでは、A社向け営業資料をA社訪問時に事務所からダウンロードした後で、B社向けに一部が編集されている資料を再度事務所からダウンロードする場合に重複するデータが除去され、ダウンロード速度を高速化できます（図3）。利用可能帯域が10Mbpsの回線で行った実験では、最大で約10倍の高速化を確認しました。

図3 利用シーン