このページの本文へ移動
  1. ホーム >
  2. プレスリリース >
  3. 大規模ストレージのレスポンスを高速化するインメモリ重複除去技術を開発

PRESS RELEASE (技術)

2016年12月5日
株式会社富士通研究所

大規模ストレージのレスポンスを高速化するインメモリ重複除去技術を開発

最大2倍の書き込み速度を実現し、仮想デスクトップの反応速度向上やDB処理を高速化

株式会社富士通研究所(注1)(以下、富士通研究所)は、SSDなどのフラッシュデバイスを複数用いた大規模・高速ストレージシステムであるオールフラッシュアレイ向けに、高速な、インメモリのデータ重複除去技術を開発しました。これにより、データ書き込み時の応答速度が従来方式より最大2倍高速なストレージシステムの実現が可能となります。

近年のオールフラッシュアレイでは、限られたフラッシュデバイス容量を有効に使用するため、重複するデータを一つにまとめてフラッシュデバイスに書き込む重複除去技術が搭載されていますが、データを書き込むたびに複数のフラッシュ装置を接続するネットワークを介して重複データを検索する必要があるため、ストレージ装置を大規模化・高速化すると書き込み時の応答速度が低下するという課題がありました。

今回、データ書き込み後に重複除去を行うことで、応答速度を速めることができる新方式を開発しました。また、新方式による処理を続けた場合、メモリへのデータ書き込みが2回行われることになって通信量が増加し、全体の処理性能が落ちるため、新方式と従来方式の2つを動作状況によって自動で切り替える技術を開発しました。

これにより、応答速度を最大2倍に高速化することができ、仮想デスクトップサービスのレスポンス向上やデータベース処理時間高速化を実現します。

本技術の詳細は、11月28日(月曜日)から学校法人法政大学で開催された「第28回コンピュータシステム・シンポジウム(ComSys2016)」にて発表しました。

開発の背景

近年、ビッグデータのビジネス活用や仮想化の進展により、ストレージシステムへの性能要求が高まっています。そのため、高速なフラッシュデバイスを利用し、複数台の装置を高速ネットワークで束ねることによって性能を拡張できるオールフラッシュアレイが広く使われるようになってきました。

フラッシュデバイスはHDDに比べ高価であること、生涯書き込み量に制限があることから、オールフラッシュアレイでは、同じデータを一つにまとめてフラッシュデバイスに書き込むことで、見かけ上の容量増加や、無駄な書き込みを低減させることができる重複除去機能が搭載されています(図1)。

図1 オールフラッシュアレイのストレージシステムと重複除去
図1 オールフラッシュアレイのストレージシステムと重複除去

課題

高価なフラッシュデバイスを有効活用するため、重複除去機能をオールフラッシュアレイに搭載したメモリ上で行うインメモリ重複除去技術が登場しています。従来技術では、データを書き込む前に、複数のフラッシュ装置を接続するネットワークを介して重複データを検索する処理が入るため、ストレージシステムを大規模化・高速化すると、検索処理時間がオーバーヘッドとなりデータ書き込み時の応答速度が遅くなるという課題がありました。

開発した技術

今回、インメモリ重複除去の応答速度を最大2倍向上できる技術を開発しました(図2)。

図2 開発したインメモリ重複除去技術
図2 開発したインメモリ重複除去技術

開発した技術の特長は以下のとおりです。

  1. 低負荷時の応答速度を向上させる新方式の重複除去技術

    今回開発した新しい重複除去技術では、オールフラッシュアレイを構成するストレージ装置が連携して、空いているメモリ(キャッシュ)に書き込みデータを一旦保持することで書き込みを完了させ、応答速度を向上させます。その後、サーバがメモリからのレスポンスにより次の書き込み作業のための準備を進めている間に、並行してストレージ装置間で通信を行って重複データを検索し、重複を除去してSSDへ最終的に書き込みます。本技術により、ストレージシステムのネットワーク負荷が低いときには書き込み時の応答速度が最大で2倍向上します。

  2. 2つの異なる重複除去手段を動的に切り替える応答速度の最適化技術

    後から重複除去を行う手法は、ストレージシステムのネットワーク負荷が低い場合は従来方式に比べて高速な応答速度になりますが、負荷が高いときにはネットワークが混雑し、装置をまたがったデータ書き込み時間が長くなることで、従来方式より応答速度が低下します(図3)。

    今回開発した、応答速度の最適化技術では、重複除去を行った後に書き込みを行う応答時間の変動が少ない従来手法と、応答時間が変動する新しく開発した重複除去手法の2つの手法のうち、実際の応答時間を計測した履歴を基に、平均的な応答時間の期待値を計算することで、応答時間が短くなる手法を自動的に選択します。

    図3 ネットワーク負荷による書き込み応答速度の低下
    図3 ネットワーク負荷による書き込み応答速度の低下

    本技術により、時々刻々と変化するシステムの状況に応じて、最適な手法を自動的に選択することで、システム全体の応答時間を短縮することができます(図4)。

    図4 開発した方式によるレスポンス性能向上
    図4 開発した方式によるレスポンス性能向上

効果

今回開発した技術を用いることにより、fio(注2)ベンチマークにおいて、従来と比べて約2分の1の最短レイテンシを実現することができました。その結果、オールフラッシュアレイにおけるデータ書き込み時の応答時間を最大2倍高速化することができました。例えば小さなファイルアクセスが大量に発生するため、重複が多く、高い書き込み速度が要求される仮想デスクトップシステムやデータベース処理などの用途において、サービスを受けているユーザーのアプリケーションを高速化し、ユーザーエクスペリエンスを向上させることができます。また、業務データベースのバックエンドストレージに適用することで、業務システムを高速化し、ITインフラの集約を進めることができるようになります。

今後

富士通研究所では、今後、オールフラッシュアレイのさらなる高速化技術の開発をすすめ、2017年度以降に富士通株式会社のストレージ製品への搭載を目指します。

商標について

記載されている製品名などの固有名詞は、各社の商標または登録商標です。

以上

注釈

注1 株式会社富士通研究所:
本社 神奈川県川崎市、代表取締役社長 佐々木繁。
注2 fio:
flexible I/O tester。ストレージの性能を測定するためのベンチマークツール。指定された設定に基づいて読み出しや書き込み負荷を生成し、詳細な性能データを出力する。

本件に関するお問い合わせ

株式会社富士通研究所
コンピュータシステム研究所
電話 044-754-2931
メール afa-pr-2016@ml.labs.fujitsu.com


プレスリリースに記載された製品の価格、仕様、サービス内容、お問い合わせ先などは、発表日現在のものです。その後予告なしに変更されることがあります。あらかじめご了承ください。