BeeOND - パラレルファイルシステム

BeeONDとは

BeeONDはBeeGFS on Demandの略で、BeeGFSを補完する製品ですが他のファイルシステムでも使用することが可能です。これは通常、計算ジョブの期間中、計算ノードの内部SSDまたはハードディスクのパフォーマンスと容量を集約するために使用されます。これによりパフォーマンスが向上し、非常に洗練された方法でバーストバッファリングを行うことができます。それが機能する方法は「オンデマンド」で作成及び破棄できるこれらの計算ノード上にBeeGFSの1つまたは複数のインスタンスを作成することです。

BeeONDを選ぶ理由

最近の計算ノードはSSDとNVMeが豊富で利用率が低いことがよくあります。未使用の高速リソースをグループ化することによりユーザーがデータの一部またはすべてを標準のハードディスクベースのファイルシステムよりもはるかに高速に処理できるスペースが作成されます。

計算ノードでの典型的なBeeONDユースケースの主な利点:

NVMeを最大限に活用する

永続的なグローバルファイルシステムからI/O負荷を軽くすることができます。ジョブ実行中に作成された一時データをグローバル永続ファイルシステムに移動する必要はありません。ジョブ終了後に保持する必要があるデータであっても、最初はBeeONDインスタンスに保存しておく必要があります。そうすると最終的に永続的なグローバルストレージに大きなチャンクで完全に順次コピーして最大の帯域幅を確保することができます。

I / Oの問題を最小限に抑える

BeeONDで実行されるアプリケーションはグローバルパラレルファイルシステムの他のユーザーを妨害せず、他のユーザーの影響を受けずに自分専用のBeeONDファイルシステムのパフォーマンスを得ることができます。

IOPSを最大化

BeeONDを使用するとアプリケーションがNVMeやSSDを並列ファイルシステムとして利用できます。IO負担が重いアプリケーションはより速く完了することができます。しかし通常の永続グローバルファイルシステムの回転ディスクでのみ実行される場合があります。複数の計算ノードのNVMeやSSDを組み合わせると簡単に高帯域幅を実現できるだけでなく、非常に高いIOPSを処理できるシステムも実現できます。

コスト削減

BeeONDは既存の計算ノードを使用するだけなので、専用のストレージハードウェアのコストは必要ありません。BeeONDを使用すると計算ノード内の高速NVMeドライブをノードをまたがり分散ファイルシステムとして利用できます。

エンタープライズレベルのサポート

インストールとサポートは、すべてPacific TeckとパートナーSIを通じて提供いたします。私たちは、アジア最大のサイトでの経験があり、ThinkParQ社と協力してソースコードレベルの修正を行います。弊社でご提供しているジョブ管理システムのUniva Grid Engineとペアリングすることをおすすめしています。

Pacfic TeckはThinkParQ社のプラチナムパートナーであり、BeeGFSベストパートナーオブザイヤーにAPACエリアで2018年、2019年、2020年と3年連続で選ばれました。

ユースケース

機械学習（マシーンラーニング）

機械学習環境は、BeeONDが利用するNVMeリソースが豊富であることがよくあります。日本では、Univa Grid EngineとBeeGFS / BeeONDがTiTech（ノードあたり4つのP100と4つのOPA HFIを持つ540ノード）とABCI（ノードあたり4つのV100と2つのEDRポートを持つ1088ノード）に統合されています。 Univa Grid EngineはBeeONDを開始し、使用するNVMeの数、いつ使用するか、ジョブの終了後に何をするかを指示します。これは実際には、計算ノードに含まれるNVMeを使用したオンデマンドバーストバッファーです。