HPC 和机器学习专家
BeeOND(parallel file system)

什么是BeeOND

BeeOND 代表 BeeGFS on Demand,是 BeeGFS 的补充产品,也可以与其他文件系统一起使用。 它通常用于在计算作业时聚合计算节点中内部 SSD 或硬盘的性能和容量。 这提供了额外的性能和一种非常精巧的突发缓冲(Burst Buffer)方式。 它的工作方式是在这些计算节点上创建一个或多个 BeeGFS ,这些BeeGFS实例可以“On-demand”创建和销毁。

BeeOND on Compute Nodes
BeeOND on Compute Nodes

为什么使用BeeOND

现代计算节点通常富含未充分利用的 SSD 和 NVMe。通过将未使用的高速资源组合在一起,创建了一个空间,用户可以比基于标准硬盘的文件系统来更快地处理部分或全部数据.

计算节点上典型的 BeeOND 用例的主要优点是:

从全局文件系统中删除 I/O 负载和可能讨厌的 I/O 的最简单模式。无论如何,在作业运行时创建的临时数据永远不需要移动到后端的全局文件系统。但是,作业结束后应该保存的数据最好先存储到BeeOND实例中,然后在结束时可以完全顺序地以大块复制到全局存储中,以获得最大带宽。在 BeeOND 上运行的应用程序不会“干扰”全局并行文件系统的其他用户,反过来也可以仅为自己获得 BeeOND 驱动器的性能,而不受其他用户的任何影响。

应用程序可以更快地完成。使用 BeeOND,它们可以在 SSD(甚至可能是 RAM-disk)上运行,而一般的全局文件系统所搭配的绝大部份是机械磁盘。 组合多个计算节点的 SSD 不仅可以轻松获得高带宽,还可以获得可以处理非常高 IOPS 的系统。BeeOND 不会为新服务器增加任何成本,因为您只是在使用已有的计算节点。正在将可能对许多分布式应用程序无发使用的内部计算节点驱动器转变为可以轻松用于分布式应用程序的共享并行文件系统。即使全局文件系统可能不是基于 BeeGFS,也可以很容易从 BeeGFS 中受益。

充分利用您的SSD?

BeeOND 使用系统中现有的 NVMes 和 SSD,甚至是与操作系统共享的 SSD 空间。 许多友商的缓冲(burst buffer)解决方案需要购买新的昂贵硬件,不过BeeOND 使用已经存在的资源。

企业级的支持

Pacific Teck 是亚洲官方 ThinkParQ 白金合作伙伴。 安装和支持完全由 Pacific Teck 和我们的合作伙伴 SI 提供。 我们拥有亚洲最大站点的经验,并与 ThinkParQ 背靠背地进行源代码级修复。 我们建议与企业支持的 Altair Grid Engine 配对使用。

最小化IO问题

从全局文件系统中删除 I/O 负载和可能讨厌的 I/O 的最简单模式。无论如何,在作业运行时创建的临时数据永远不需要移动到后端的全局文件系统。但是,作业结束后应该保存的数据最好先存储到BeeOND实例中,然后在结束时可以完全顺序地以大块复制到全局存储中,以获得最大带宽。

最大化IOPS

应用程序可以更快地完成。使用 BeeOND,它们可以在 SSD(甚至可能是 RAM-disk)上运行,而一般的全局文件系统所搭配的绝大部份是机械磁盘。 组合多个计算节点的 SSD 不仅可以轻松获得高带宽,还可以获得可以处理非常高 IOPS 的系统。

用户案例

机器学习

机器学习环境通常有丰富的 NVMe 资源可以供 BeeOND 使用。 在日本,Altair Grid Engine 和 BeeGFS/BeeOND 集成在 TiTech(540 Nodes with 4 P100 and 4 OPA HFIs per node )和 ABCI(1088 Nodes with 4 V100 and 2 EDR ports per node)使用。 Altair Grid Engine 提交作业时告诉 BeeOND它要使用多少 NVMe、何时使用以及工作完成后要做什么。 这实际上是使用计算节点中的 NVMe 的按需使用缓冲(Burst Buffer)。

科学计算

BeeOND 帮助世界各地的科学集群在不超出预算的情况下实现缓冲(burst buffer)级别的性能提升。与 Altair Grid Engine 一起,使用现有硬件的丰富资源可以在组和用户之间公平共享。

Benchmark以及其他

案件学习

  • A certain plastic molding maker / CAE – Taiwan
  • Singapore University of Technology and Design(SUTD) – Singapore
  • A*STAR – Singapore
  • National University of Singapore (NUS) Mechanobiology Institute – Singapore
  • A major financial company – China
  • Spookfish– Australia
  • AWS – Australia
  • CSIRO – Australia

文档

联系我们

我们可以根据您的需要对其进行定制。 有关系统配置,请随时与我们联系。