宇宙創成の謎に迫る巨大加速器から抽出される大量のデータを解析するために大規模なコンピューティングシステムを導入

企業名

高エネルギー加速器研究機構

素粒子物理学の国際協同プロジェクト「Bファクトリープロジェクト」が目指すもの

茨城県つくば市にあり、最先端科学の基礎研究を進める共同利用研究所である「高エネルギー加速器研究機構(KEK)」。極微の世界を探るために用いられる加速器と呼ばれる巨大な装置群を使って、世界最高峰の研究を進めています。

高エネルギー加速器研究機構 計算科学センター高エネルギー加速器研究機構 計算科学センター

その中でも最も大きな加速器は「Bファクトリー」と呼ばれ、国際共同素粒子実験「Belle(ベル)」の中核を担っています。「Belle」は1999年に開始された国際的なプロジェクトであり、素粒子物理学の最先端に位置する重要な研究です。
宇宙には、もともと物質と反物質が等量存在したといわれていますが、現在は物質のみしか存在しません。つまり、反物質が何らかの機構で消滅してしまったということです。同プロジェクトでは、陽電子と電子を光速に近いスピードまで加速させ、互いを衝突させることにより、粒子と反粒子を同量ずつ生成し、宇宙創成時と同じような状態を作ります。そして、生成した粒子と反粒子の消滅過程を観測し、その微妙な違いを測定することによって、反物質が消滅して物質のみが存在する現在の宇宙のありようを解明することを研究の最終目的としています。今回増強された「Bファクトリー計算機システム」は、加速器が生成した粒子と反粒子が発する信号を測定するデータを蓄積し、解析するコンピューティングシステムです。

「Bファクトリー計算機システム」が解析する大量のデータ


高エネルギー加速器研究機構
素粒子原子核研究所
物理第一研究系 教授
理学博士 片山 伸彦 氏

では、「Bファクトリー計算機システム」が解析するデータとは、どのようなものなのでしょうか。研究の情報処理統括責任者である素粒子原子核研究所物理第一研究系の片山教授は次のように説明します。

「直径1km、周長3kmの巨大な円形の加速器の中では、陽電子と電子が常に光速(30万km/秒)で回り続けていて、随時衝突を繰り返しています。衝突すると粒子と反粒子が生成され、約20万チャンネルある測定器のセンサーを通ってきます。そのとき、時間、エネルギー、位置データといった数値データを残します。そのデータを解析して人間が認識できる情報として再構成することによって、その粒子がもともとどういうもので、どういう崩壊過程を経てきたかということがわかるわけです」(片山教授)
加速器の中には、陽電子と電子の束が1000束あり、それぞれ1秒間に約10万回の衝突を繰り返しているといいます。つまり10万回の1000倍、10億回/秒の衝突があるということになります。
「陽電子と電子の束が毎秒10億回衝突しても、すべての衝突で興味のある反応が起こるわけではなく、特に観測したい反応は1秒間に数百回程度しか起こりません。非常に低い確率で起こる特異的な反応を解析することに意味があるわけです。意味のあるデータとそうではないデータを判断するためには、10億回/秒すべての衝突を見なければなりません。衝突した瞬間意味のないデータだとわかることもあり、測定器を通って『Bファクトリー計算機システム』に到達するまでに、いくつかの段階を設けてデータを見きわめています。意味のあるデータは、『Bファクトリー計算機システム』に蓄積して、解析することになります。加速器は正月と夏の一定期間止めることを除いては、年間250?300日間常に動いており、時間が経つにつれて膨大なデータが蓄積されていきます。1日で約1TBものデータが取れ、累計すると、約0.6PB(ペタバイト、1PB= 1000TB)もの1次データが取れています。それらを使って解析したデータや、シミュレーションによって生成したデータも含めるとさらに多くなります」(片山教授)

超高速のパラレル解析を可能にする計算サーバシステム

前述の片山教授の説明からわかるように、「Bファクトリープロジェクト」は、大量のデータを蓄積し、それらを随時解析する超高速のコンピューティングシステムを必要としています。このシステムの概要について、片山教授に簡単に説明していただきました。

「今回(2006年3月)のシステム性能増強は、2001年の大幅な入れ替え以来、2度目の大きなアップデートですが、基本的なデータの流れは変わっていません。まず、加速器が取ってきたデータは、一時的に高速データシステムといわれる部分にキャッシュされ、平滑化されます。そして、大容量ストレージシステムに転送されて蓄積されます。データは計算サーバシステムによって解析され、解析されたデータはまた大容量ストレージシステムに書き込まれていきます。これらの作業をオペレーションしたり、研究者たちが解析データにアクセスしたりするために、複数のサーバから構成されるユーザー解析システムを構築しています。以上のシステムは10Gb Ethernetによってつながっており、中核にバックボーンスイッチを置くことで、さらなるネットワークの高速化をはかっています」(片山教授)

「Bファクトリー計算機システム」構成

「Bファクトリー計算機システム」構成
拡大表示

今回導入したシステムでは、計算サーバシステムとして、1140台のPCを並列接続したDell製PowerEdge1855を採用しています。このようにPCを並列接続して解析するシステムを導入した背景について、片山教授は次のように語ります。

「『Bファクトリープロジェクト』で扱うデータにはある特徴があります。ほかの科学実験では、さまざまに条件を変えて複数種類のデータを用いて1つの結論を導くことが多いのですが、我々の場合、実験の条件を変えることはありません。昔取ったデータも昨日取ったデータも等価の価値があります。なおかつ、それぞれのデータはすべて独立なので、パラレルで同時解析できる性質を持っています。パラレルで解析するといっても、1000個のマシンが連動しあいながら、1つのプログラムを実行して、お互いのディスクに読み書きを行うのではありません。1000台のPCが1000個の別々のディスクに読んでそれぞれに書き出すという、一つ一つのマシンが完全に独立した形で解析作業を行うことができればいいわけです。以前のシステムでは、巨大なメインフレームを連結して解析を行っていました。当時は、PCの能力が水準に達しておらず、こういった巨大なシステムを構築するのには不向きでした。とりあえず全体の1割程度をPCにして運用を開始し、少しずつ買い足しながら満足に運用できるかどうか試していたのですが、PCの能力が大きく向上して、解析能力が必要水準に達したことで、すべてをPCに置き換える今回のようなシステム構築が可能になりました」(片山教授)

可能な限りハイパフォーマンスのコンピューティングシステムを求めていた


高エネルギー加速器研究機構
計算科学センター長 教授
理学博士 川端 節彌 氏

今回新しく大きくアップデートされた「Bファクトリー計算機システム」。そのシステムの選定にあたった計算科学センター長の川端教授は、次のように説明します。
「今回新しくアップデートするにあたって、研究の情報処理を統括する片山教授が設計した仕様書の技術水準をクリアしつつ、予算の許す範囲でできるだけハイパフォーマンスコンピューティングシステムを導入したいと考えていました。計算サーバシステムにPCを用いる仕様になっているのも、コストパフォーマンスがよいからです」(川端教授)

システムの導入は、公開入札で行われ何社かが競合することがあります。その際に、選定のポイントとしていたのは、「物量だけではない」と川端教授はいいます。

「私たちの求めているシステムは、単に速くて大容量であればいいというわけではありません。大切なのは、各システムがスムーズに連動しあって安定に動作することであり、研究者が安心して研究に没頭できるシステムであることです。PCを何台連結できるかとか、ストレージが何PBかといったことは、むしろ次の問題です。まずは、各社の提案をじっくり検討させていただいて、それがリーズナブルで運用に耐えられる構成にしているか、十分な性能を出せるようになっているか、安定に動作するようになっているか、技術的に審査をします。その審査に耐え、かつ物量を確保できているネットワンシステムズの提案が総合評価方式での高得点に結びついたと考えます」(川端教授)

ネットワークの運用での実績も評価


高エネルギー加速器研究機構
共通基盤研究施設
計算科学センター 助教授
理学博士 真鍋 篤 氏

「今回のシステムの中核を担う部分として、大容量ストレージはSony製PetaSite、計算サーバシステムはDell製PowerEdge1855をあわせてご提案いただき、性能面では申し分のないものでした。ネットワンシステムズの扱っている製品では、高速データ転送システムに用いた3PAR InServ S800、高速バックボーンスイッチのFoundry Big Ironを採用し、重要なパーツを3社の製品で構成する提案でした」(川端教授)

ネットワンシステムズを中心としたDell(デル株式会社)、SBS(ソニーブロードバンドソリューション株式会社)の3社による協同提案について、「Bファクトリー計算機システム」の運用管理責任者の真鍋助教授は次のように語ります。

「このような大規模システムの場合、システムに必要なパーツをすべて同じ会社の製品で構成するということはほとんどありません。違う会社の製品を組み合わせて構成する方がコストを低く抑えることができ、限られた予算の中で高い能力を確保しやすいためです。一方で安定性を考慮することなしに単に安価な製品を組み合わせて提案されてしまうということもありえるため、調達にあたり不安の一つでした。ネットワンシステムズの提案は、技術審査で責任体制、システムの信頼性についての条件をクリアした上で、性能・価格の面において高得点を得ました。ネットワンシステムズはKEKのインフラネットワークを運用していただいている実績もあり、特にネットワークインフラの面では信頼感がありました」(真鍋助教授)

安定性確保のための協同運用保守体制
3社協同によるシステムで大きく性能向上

「今回のように複数社の製品で構成するネットワークの場合、運用保守面でどこまで対応していただけるかということは、とても大切なポイントであり、入札時 に提案していただく重要項目の一つになっています。今回は、ワークステーションからPCのシステムに切り替えることがあり、同時にOSもメーカー開発のSolarisから、オープン開発のLinuxに変わるので、運用保守面では少し不安がありました。ネットワンシステムズの提案では、ネットワンシステム ズ、Dell、SBSの3社の技術者が常駐してシステムの状態を管理するという運用保守体制でした」(川端教授)

この運用保守体制について、管理者の真鍋助教授は次のように話します。

「複数社の製品で構成されているシステムの場合、プライマリベンダーの会社の技術者のみが常駐する場合と、すべての会社の技術者が常駐する場合とがあります。前者の場合、問題箇所がプライマリベンダー製品でないときなどは、情報伝達や意思疎通の不足や遅延、責任の所在が曖昧になることが起こりがちで満足な対応が得られないことがあります。今回は3社すべての技術者に常駐していただいており、おかげでスムーズに運用できています。特に、常駐しているネットワンシステムズの担当者の方にリーダーシップを発揮していただいて3社が協力しあって運用保守にあたってくれているので、運用管理面では負担が少なく済んでいます。運用保守という点においては、期待以上です」(真鍋助教授)

こうした運用保守体制も含めた安定運用についての信頼があった上で、高いスペック性能を持ったシステムが生きてくると真鍋助教授は話します。

「2001年時に導入した前システムに比べて、今回のシステムは大きく性能向上しています。以前のシステムでは、ワークステーションを約50台接続して使っていました。今回は、PCを1140台接続して使うシステムを採用することにより、大幅にスピードアップしました。また、620TBだったデータストレージ容量は、3.5PBまで拡張しました。さらに、高速データ転送システムのスピードは10倍になり、間をつなぐEthenetは1Gbから10Gbにアップデートしました。今はシステムの移行期間ということもあり、安定運用に入るまではもう少しチューニングが必要ですが、フルスペックの性能が出るようになれば、かなりのスピードで解析することができると期待しています」(真鍋助教授)

加速器、測定器の性能向上により、測定データ量が飛躍的に増大する

加速器、測定器の性能向上により、測定データ量が飛躍的に増大する

今回、新しくシステムの性能を増強した『Bファクトリー計算機システム』ですが、このような大幅なアップデートが必要な理由について、研究の情報処理を統括する片山教授は次のように語ります。

「我々の研究では、前述のように基本的に加速器、測定器、そしてそこから量産されるデータを蓄積、解析する計算機システムが必要なのですが、同じ仕組みで ずっと続けるということはありません。加速度や測定器については、より効率的にデータを取れるようにその性能の向上を目指して研究する専門のチームがあります。彼らの努力によって、前システムを入れた2001年時に比べて加速器の性能は40倍にもなっています。つまり簡単にいって、測定データ量が40倍に なったということです。それにあわせて、計算機システムをアップデートしなければ、研究が追いつかなくなります。前システムでは、蓄積される測定データに対して解析スピードが追いつかず、夏に行われる国際学会の発表に使う解析結果を何ヶ月か前には締め切らなくてはならないという状況が出ていました。今回システムを増強したことにより、学会の直前まで測定されたデータを用いて発表できるようになります。また、独立に動くPCをパラレルに連結して動作させる計算サーバシステムを採用しているので、少しずつPCを買い足して性能を強化することもできます。もちろん、それでも追いつかないくらい加速器や測定器の性能が上がってくることが予想されます。今回の入札では、3年後にシステムの増強も仕様に入っているので、さらなる能力の向上が期待できます」(片山教授)

よりレアな現象を発見するために多くの測定データを解析できる
ネットワークシステムを構築したい

(上)SPAR Insery(下)Biglrion RXシリーズ
(上)SPAR Insery
(下)Biglrion RXシリーズ

「Bファクトリープロジェクト」の今後の展望について、片山教授は次のように話します。

「今ある結果だけでは、我々が知りたい宇宙創成の謎を解明することができません。つまり、創成時には物質と反物質が等量ずつ存在したことがわかっています が、現在は100億個のうち6個くらいの割合で物質だけが残り、ほかの物質・反物質はすべてお互いに衝突して消滅してしまったと考えられています。今我々の研究グループが導き出した実験結果によって、物質、反物質の挙動の微細な違いが明らかになりつつあることから、ほとんどが対消滅してどちらかがほんの少 し残るという定性的な説明はできますが、物質が残る確率がなぜ100億分の6なのか、という定量的な説明はできません。それを説明する理論を構築するために、よりレアな現象を発見して、解析する必要があると考えています。レアな現象は、きわめて低い確率でしか起きないため、より多くのデータを測定する仕組みが必要になります。まず、加速器の性能を今後3年間で、100倍にすることを目指しています。興味深い反応が起きる確率を100倍にするということです。さらに、測定器を改良して、より検出精度を高めることを計画しています。これらにより、飛躍的に増加する測定データを解析するために、さらに高速な計 算機システムを導入したいと考えています。
また、「Bファクトリー計算機システム」に関しては、さらに研究者が使いやすいようにしていきたいと考えています。今は、ほとんどの計算設備とデータは KEKに集中していますが、そのユーザーは全世界に散在しています。個々のユーザーが自分のデスクトップで解析作業するような感覚で計算し、散在するすべ てのPCが協調してすぐ答えを出すようなシステムを組み上げていくことをしたいと考えています」(片山教授)

Webからのお問い合わせ、ご質問はこちらから
お問い合わせ窓口へ

イベント/レポート

pagetop