世界初！イーサネットを束ねて高性能クラスタ通信を実現

～筑波大学のスーパーコンピュータPACS-CS向けに通信ソフトウェアを開発～

株式会社富士通研究所^(注1)は、国立大学法人筑波大学(以下、筑波大学)計算科学研究センター^(注2)と共同で、PCクラスタシステム^(注3)向けの高速通信ソフトウェアを開発しました。

安価な汎用のギガビットイーサネットを複数本束ね、ソフトウェアのみで毎秒1.4ギガバイトという専用ネットワーク並みの高い通信性能を達成しました。また、本技術は、筑波大学の2,560ノードからなる超並列クラスタ型スーパーコンピュータPACS-CSに搭載され、高いアプリケーション実行効率を達成しました。

開発の背景

大規模なPCクラスタシステムにおいては、一般には多くの計算機間を接続するネットワークに専用ネットワーク(クラスタインターコネクト)を使います。しかし、この専用ネットワークは高価で、システムのコストアップにつながってしまいます。

これに対して、筑波大学計算科学研究センターでは、汎用の安価なギガビットイーサネットを複数束ねたネットワークを持つ超並列クラスタシステムPACS-CSを開発しました（図）。富士通研究所は、これまでのPCクラスタ技術の実用化経験を生かして、PACS-CS向けに通信ソフトウェアライブラリ(ソフトウェア部品)を共同開発しました。

図PACS-CSと背面の結線図 (筑波大学提供)

課題

一般に、イーサネット上ではインターネットの基本的なプロトコルであるTCP/IPが使われますが、TCP/IPの複雑な処理と、オペレーティングシステムにおけるデータのコピー処理に時間がかかり、複数のギガビットイーサネットを束ねても高い通信性能が得られませんでした。

開発した技術

汎用のイーサネットを束ねて高い通信性能を達成するために、まずPACS-CSの通信ソフトウェアSCore^(注4)上で、専用ネットワークでも採用されているゼロコピー通信技術^(注5)を実現しました。一般に通常のクラスタシステムではこの機能を専用のハードウェアで実現していますが、今回開発した通信ソフトウェアライブラリは、これをソフトウェア技術のみで実現しています。

また、Linuxのカーネル(基本部分)処理を徹底的に分析することで、処理量の少ない軽量な独自の通信プロトコルを開発しました。本プロトコルはTCP/IPとは異なり、複数のイーサネットからのメッセージ処理が競合しません。これらの結果、従来に比べ一桁小さな処理時間での通信処理が可能となりました。

効果

従来ギガビットイーサネットを束ねても 2本分の毎秒250メガバイトの通信性能が限界でしたが、PACS-CSではギガビットイーサネット6本を束ねて双方向で毎秒1.4ギガバイト（転送効率 93%）の性能を達成しました。これは、専用ネットワークInfiniBand 4x SDRを超える実効転送性能です。

この通信機構を用いたPACS-CSシステムは、スーパーコンピュータの標準的なベンチマークソフトであるLinpackで10.35テラフロップス^(注6)の実効性能を達成し、2006年6月のスーパーコンピュータTop500^(注7)世界ランキングで34番目に高速なシステムとして認定されました。

今後

今後は、PACS-CS上でさらなるアプリケーション性能を高めることに協力すると共に、PACS-CSシステムの安定稼働に協力していきます。また、本技術は一般のPCクラスタ、ならびに10Gbitイーサネットなど次世代ネットワークに対してもそのまま適用可能です。実際に10Gbitイーサネットに適用した結果、2枚で毎秒2ギガバイト以上の通信性能を確認しています、今後、本技術を一般PCクラスタ利用へ展開するとともに、次世代ネットワークにも応用していく予定です。

以上

注釈

注1 株式会社富士通研究所:: 代表取締役社長村野和雄、本社神奈川県川崎市。
注2 国立大学法人筑波大学計算科学研究センター:: センター長宇川彰、所在地茨城県つくば市 URL：Center for Computational Sciences, University of Tsukuba
注3 PCクラスタシステム:: 一般のパーソナルコンピュータ(PC)と同種のプロセッサによる計算機を高速なネットワークにより接続し、全体として高性能なコンピュータとして動作させるシステム。
注4 SCore（エスコア）:: 技術研究組合新情報処理開発機構により開発されたPCクラスタシステム用オープンソースソフトウェア。大規模なクラスタシステムを効率よく利用するために、高性能通信ライブラリや、PCクラスタシステムを単一のコンピュータとして扱うための機能を備える。現在、PCクラスタコンソーシアムで開発、配布を続けている。
注5 ゼロコピー通信技術 :: プロセッサによるデータのコピーをせずに、ネットワーク経由で通信先のシステムのメモリに直接データを転送する通信技術。
注6 テラフロップス:: 1秒間に1兆回の浮動小数点演算ができる演算能力。
注7 Top500:: 半年に一度、独マンハイム大学や米テネシー大学などが、標準的なベンチマークプログラムLinpackにより計測したスーパーコンピュータの上位500位のランキングを公表している。

本件に関するお問い合わせ

株式会社富士通研究所 ITコア研究所 ITアーキテクチャ研究部

電話: 044-754-2665 (直通)
E-mail: pr-it-arch@ml.labs.fujitsu.com

プレスリリースに記載された製品の価格、仕様、サービス内容、お問い合わせ先などは、発表日現在のものです。その後予告なしに変更されることがあります。あらかじめご了承ください。

ページの先頭へ