PRESS RELEASE (技術)
2015年6月22日
株式会社富士通研究所
遠隔地からのファイルアクセスを高速化するデータ転送技術を開発
ファイル共有サーバへのアクセスをソフトウェアだけで最大20倍高速化
株式会社富士通研究所(注1)(以下、富士通研究所)は、遠隔地からファイル共有サーバを利用する際のファイルアクセスをソフトウェアで高速化するデータ転送高速化技術を開発しました。
クラウドに集約されたファイル共有サーバを遠隔地から利用する際に、一般的に使用されるファイル共有システムでは、ネットワークの遅延によりファイルのアップロードやダウンロードに時間がかかるという課題がありました。
今回、クライアント・サーバ間の通信を中継するソフトウェアを新たに導入することで、遠隔ネットワーク上で複数のファイル名、ファイルサイズなどの情報取得で発生する通信回数を大幅に減らし、ネットワーク遅延の影響を低減する技術を開発しました。社内実験では、容量の小さな多数のファイル転送を最大で10倍高速化できることを確認しました。さらに、昨年当社より発表した重複除去技術(注2)の効果を向上させるヘッダーの分離技術により、大容量ファイルの転送を最大で従来の20倍高速化することも確認しました。
開発技術を実装したソフトウェアをサーバとクライアントにインストールするだけで、既存のファイル共有システムのファイルアクセスを高速化することが可能です。
開発の背景
ファイル共有は、ネットワーク上のサーバにファイルを保存し、複数のクライアントが同じファイルを共有する仕組みです。企業では情報共有やドキュメント管理などに利用されており、これまでは拠点ごとにファイル共有サーバを設置していましたが、情報の一括管理によるセキュリティの向上や運用コスト低減のためサーバ集約が進み、遠隔地からファイル共有サーバへアクセスする機会が増えています。
ファイル共有システムで広く利用されているCIFSやSMB(注3)といった通信プロトコル(ファイル共有プロトコル)では、ネットワーク遅延の影響で遠隔地からのファイルアクセスに時間がかかるという課題があり、高速化が求められています。
課題
富士通研究所ではこれまで、遠隔地間のデータ転送を高速化する技術として、一度送信したデータを2回目以降省略して高速化する重複除去技術を開発してきました。この技術は多様な通信環境に適用できますが、ファイル共有プロトコル(CIFS、SMB)特有の処理があるため、効果が限定的でした。また、高速化の手段として回線の増強や専用ハードウェアを導入する方法もありますが、コスト負担が大きいという課題や専用ハードウェアを導入しても数キロバイト(KB)程度の小容量なファイルを大量に転送する場合は、それほど速くならないという課題があります。
ファイル共有プロトコル(CIFS、SMB)特有の処理と課題は以下のとおりです。
- 多数のファイルを含むフォルダーのコピーでは、ファイルごとに属性情報やファイル取得の通信が発生するため、遅延が大きいネットワーク環境でフォルダーを転送すると各通信の遅延が累積して遅くなります(図1)。
- 比較的大きなサイズのファイルを転送する場合、転送するファイルを数十KBといった小さなデータに分割して、各データにヘッダー情報を付加します。このヘッダーは毎回変更される情報であるため、過去に同一のデータを転送したことがあっても異なるデータに見えるため、重複除去が効かないことがあります。
図1 ファイル共有システムによるファイルダウンロードの概要
開発した技術
今回、遠隔地からファイル共有サーバを利用する際のファイルアクセスをソフトウェアで高速化するデータ転送高速化技術を開発しました。
開発した技術の特長は以下のとおりです。
- 複数ファイルの一括した代理先読みと代理応答
本技術では、サーバとクライアントの両方にデータ転送高速化のモジュールを設置し、以下の手順で高速化します(図2)。
[サーバ側のモジュール]
(1) 複数ファイルを含むフォルダーのダウンロードが実行されていることを認識
(2) ダウンロードするすべてのファイルを一括してクライアントの代理で先読み
(3) 先読みしたファイルはまとめてクライアント側のモジュールに転送[クライアント側モジュール]
(4) ファイル共有クライアントからのデータ取得の要求にサーバの代理で応答これにより、遠隔ネットワーク上で複数のファイル名、ファイルサイズなどの情報取得で発生する通信を大幅に減らし、ネットワーク遅延の影響を低減することができます。
- ヘッダー分離による効率的な重複除去
サーバ側のモジュールでヘッダー部分を分離してから重複除去を行う技術を開発しました。これにより、ヘッダーが付加されても、データが同一であれば重複除去の効果が発揮されます。
図2 開発した技術の概要
効果
開発技術を実装したソフトウェアを使用した富士通研究所内の実験では、以下の効果を確認しました。
- 多数の小容量ファイル転送の高速化:川崎にあるファイル共有サーバに九州の拠点からアクセスする想定のネットワーク遅延を再現した疑似環境下で、1KBのファイル100個を含むフォルダーの一括ダウンロードを行い、最大で10倍高速化
- 大容量ファイル転送の高速化:上記と同じ疑似環境下で、10MBのファイル1個のダウンロードを最大で20倍高速化(重複除去など高速化技術未適用の場合との比較)
今回開発した技術は、ソフトウェアとして実現しており、既存のファイル共有システムに搭載可能です。また、クラウドやサーバ仮想化環境、モバイル端末などにも適用可能で、ネットワークの各種サービスへの展開も可能です。これにより、遠隔の拠点間での情報共有や共同開発を効率化することができます。
今後
富士通研究所は、開発技術の富士通での社内実証を経て、2015年度中にデータ収集・統合ソフトウェアの転送高速化機能として製品搭載を目指します。
商標について
記載されている製品名などの固有名詞は、各社の商標または登録商標です。
以上
注釈
- 注1 株式会社富士通研究所:
- 本社 神奈川県川崎市、代表取締役社長 佐相秀幸。
- 注2 重複除去技術:
- 重複除去と圧縮によりデータ転送量を削減して、実効データ転送速度を最大で約10倍に高速化する技術(2014年4月8日 富士通研究所プレスリリース)。
- 注3 CIFSやSMB:
- それぞれCommon Internet File System、Server Message Blockの略。ファイル共有を実現するために広く使用されている通信プロトコル。CIFSは狭義にはSMB1.0を指すが、広くSMBを代表して呼ばれることがある。
関連リンク
本件に関するお問い合わせ
株式会社富士通研究所
ものづくり技術研究所
044-754-8830(直通)
CIFS2015@ml.labs.fujitsu.com
プレスリリースに記載された製品の価格、仕様、サービス内容、お問い合わせ先などは、発表日現在のものです。その後予告なしに変更されることがあります。あらかじめご了承ください。