AI数据管理产品之Hammerspace

前言

这是AI数据管理产品系列文章的第三篇， 本篇我给大家介绍Hammerspace。Hammerspace是一款超大规模NAS产品，是第一款基于pNFS Flex文件布局技术实现的并行文件系统， 同时具有横向扩展NAS的易用性以及传统并行文件系统的高性能。Hyperscale NAS采用全局文件系统将分散的存储系统统一到一个文件系统，呈现统一的命名空间构建了一套全局数据环境，根据文件系统/自定义元数据，实现了目标导向的策略目标，提供了丰富的数据服务，实现了全局的自动化数据服务。pNFS Flex Files是NFSv4.2中提供的一种访问模式，支持独立的NFSv4.2元数据服务和NFSv3的存储服务器，支持直接的数据访问以及文件移动。

读完三篇文章（或者原文）的读者，应该对Denodo、VAST Data和Hammerspace各自鲜明的特点很有感觉：在阅读Denodo的材料时，我印象最深刻的是有关数据管理产品的各种理念（如：逻辑数据管理、数据网格、数据编织等），对VAST Data，我最有印象的是它的分离式和Shared-Everything架构及AI数据管理产品的参考架构（结构化分析引擎+函数计算引擎），而Hammerspace侧重于数据编排，给我们带来了基于pNFS的Parallel File System的参考实现。

Denodo、VAST Data和Hammerspace的产品能力都建立在全局并行文件系统（GPFS）这个底座之上，GPFS提供的统一的命名空间，为实现统一的数据管理提供了基础，实现GPFS的关键是对元数据进行抽象和建模（Denodo和Hammerspace支持异构存储的纳管），而Hammerspace的pNFS Flex Files给我们提供了一种参考实现。在这之上，实现了结构化分析引擎和计算引擎，结构化分析引擎使用数仓、AI/ML技术对非结构数据的语义理解进行编目，提供数据目录，这样就把结构化数据和非结构化数据联系起来了，计算引擎使用AI/BI工具、大数据分析技术甚至是基于AI的主动分析技术等对数据进行分析和推断，将数据转化为信息，给数据赋予了更多的智能。数据和AI的结合，对存储和数据系统的发展影响，值得我们思考和期待，如：基于AI的新的应用交互方式，结构化和非结构数据的统一管理架构…

下文是对Hammerspace官网和白皮书内容的摘录和翻译，希望各位读者阅读本文后对Hammerspace的产品及技术有初步的了解。想了解更多的产品、技术细节和解决方案内容可以点击上面的链接，阅读原文。

Hammerspace

Hammerspace超大规模NAS（Hyperscale NAS）架构基于Hammerspace全局并行文件系统，是第一个使用并行NFS（pNFS）和Flex文件布局的存储架构，可为任何NFSv4.2 Linux客户端提供基于标准、快速且高效的并行数据访问。如下图，Hammerspace NAS架构中的一切都是标准的：

• 客户端是标准的Linux，使用NFSv4.2客户端访问NFS导出目录
• 客户端读写文件时，先访问元数据服务器获取文件布局（描述了访问存储的合适路径），FlexFiles布局使用标准NFSv3作为元数据服务器和存储系统之间的控制协议
• 元数据和数据是分离的，提供最大的性能和数据放置灵活性。一旦客户端获得文件布局，可能会使用NFSv3的多个路径直接访问一个或者多个存储系统
• 控制协议和数据访问协议都是标准的NFSv3，超大规模NAS可以利用来自任何供应商的支持NFSv3的任何存储系统或存储系统的组合
• 扩展容量和性能，只需要简单的添加更多的存储节点和客户端节点。存储节点可以是商业NAS系统，运行Linux的通用服务器，或者上述两者的组合

一个典型的Hammerspace超大规模集群由Anvil NFSv4.2元数据服务器，数据服务（DSX）以及由已有的Scale-up和Scale-out NAS或者通用服务器组成。要强调的是，超大规模NAS不需要部署专用客户端，pNFS的Flex文件是NFS的一部分，由Linux内核支持。

Hyperscale NAS集群安装完成后，它会启动“就地数据迁移”，将配置为其使用的任何NAS存储纳入其中。这个元数据同化过程从当前存储系统中读取文件元数据到Anvil服务器中。即使在元数据同化完成之前，IT也可以将文件共享和挂载点指向Hyperscale NAS，并在其数据中心中使用pNFS Flex Files的所有功能，将现有的NAS基础设施转变为高性能的PFS。

因此，任何客户端都可以直接读写多个存储卷的数据，以实现高吞吐量和低延迟性能，通过添加更多客户端和存储到集群中，性能和容量可以简单地扩展， 用一张图概括其架构特点和能力：

全局数据环境

Hammerspace全局数据环境（GDE）基于Hyperscale NAS构建，采用全局文件系统，将来自任何存储系统的数据统一到一个文件系统中，并将所有数据呈现为单一的全局命名空间。由任何用户或应用程序生成的数据，使用任何协议（NFS、SMB 或 S3）都可以通过pNFS访问到Linux客户端，从而为数据提供PFS性能的优势。

这对于训练生成式AI模型，协作进行视频编辑和渲染或者高性能分析都特别有用。GDE可以使用企业应用程序访问驻留在多个站点和多个位置的数据。一套GDE可以分布在16个不同的本地或云位置上，每个位置都包含一个Hyperscale NAS集群，每个集群包括一对Anvil元数据服务器、DSX服务器，并利用现有的存储节点。每个Hyperscale NAS集群可以在每个位置拥有从几个到数千个任意数量的存储服务器。

Hyperscale NAS结合其pNFS Flex Files操作和Anvil元数据服务器，通过持续同步元数据确保数据的变更一致性，即使跨多个站点。当文件更新时，只需同步其元数据，全球用户即可访问数据的当前版本。

使用GDE，同一数据中心或全球范围内的所有位置（例如云、托管中心或边缘集群）共享对相同文件数据的访问。根据访问权限，相同的共享、目录和文件都可以从任何位置访问。

例如，如果数据确实需要在本地移动到计算集群，数据编排策略可以仅在文件粒度级别上，将所需的数据移动到需要处理的位置。即使在不同站点之间移动时，这些数据也可以继续处于活动状态并被用户和应用程序使用。文件数据甚至可以预先放置在不同的位置，并在本地处理完成后移动到其他位置。这些不是文件副本，而是具有相同文件元数据的同一文件的实例。

对于需要使用Hyperscale NAS pNFS v4.2 Flex Files性能的环境，文件数据可以位于GDE中的任何NFSv3或NFSv4.1存储服务器上。组织在其数据中心已经部署SMB存储或拥有自己的S3对象存储的情况下，可以将Hammerspace DSX服务器部署在其SMB或S3存储之前，并这些数据与位于Hyperscale NAS中的其他数据统一到一个全局数据环境中。Hammerspace GDE将所有这些数据整合到一个命名空间和全局文件系统中，其中包括通过NFS4.2、其他版本的NFS、SMB和S3生成和访问的数据。

使用Hyperscale NAS，目录和它们所包含的文件完全分离。GDE将这种灵活性提升到了一个全新的水平。例如，一个单独的目录可以包含跨越多达16个位置，位于多达数百到数千个存储节点上的文件数据。

目标导向的策略管理

GDE提供了目标导向的策略管理，它支持数据管理，数据治理和数据编排服务，如：跟踪文件内容/版本变化，以及移动文件到使用它们的地方。目标导向的策略管理，还可以用来调度快照，创建加密-去重-压缩后的WORM文件副本，自动化工作流，以及执行病毒扫描。所有这些都有助于实现GDE中数据的合规、治理或地理访问约束所需的业务策略。

目标导向的策略管理还可以用于通过镜像数据或使用纠删码来设置存储服务器的数据保护。通过存储服务器数据保护，即使多个存储服务器发生故障，也不会中断对数据的访问。

数据服务

Hammerspace利用其策略引擎或按需功能，为所有本地和远程存储资源，提供了文件粒度的全局数据服务。文件粒度的服务使单个文件或文件集能够通过策略进行管理，这些策略可以由任何元数据属性触发，包括文件名、创建日期、修改时间、文件类型，以及自定义元数据标签。Hammerspace全局数据服务使公司能够以之前不切实际甚至不可能的方式（由于价格和性能方面的挑战）全球管理其数字业务资产。Hammerspace GDE进行全局控制，这些数据服务可以全局应用于所有存储资源，消除了IT组织需要管理多个解决方案来迁移、保护或执行其他功能的需求。

元数据成为数据的业务规则

使用Hammerspace，客户可以定义明确的、通俗易懂的业务规则，称为服务级目标（SLO），以控制数据的访问、存放和保护方式，以及来自任何供应商的存储资源的利用方式，以及其他关键数据服务。

策略目标可以在在线数据上执行，而不会中断用户或应用程序对任何存储的访问、无论是来自任何供应商的存储，甚至在他们正在活动地处理文件时。

自动管理多种数据服务

Hammerspace提供了许多可以直接使用的常用的默认策略目标，这些目标可以应用到共享目录级别，存储级别或者全局级别。其中包括与文件、克隆或快照的数据放置相关的常见策略。或者可以设置指定共享的数据可用性要求的目标，例如3个九或5个九。或者是否应该优化存储容量，根据各种可用存储类型的负载成本触发额外的分层规则。

Hammerspace包含一个简单的目标构建器，管理员可以通过添加一个或多个条件来自定义策略目标，例如“应用于实时文件”，或者指定目标适用的文件大小。

Hammerspace还包含了一种名为Hammerscript的脚本语言，可以利用多个元数据变量设置非常具体的条件。这些条件可以使用 Hammerspace管理GUI中的内置编辑器创建，也可以通过Hammerspace Toolkit作为脚本运行。通过这种方式，策略目标可以根据需要变得非常精细，以适应关于数据行为的非常具体的业务规则，甚至跨越多个不兼容的存储环境、云和其他位置，利用多种元数据类型的组合。

使用自定义元数据增强策略目标

基于全局文件系统元数据的政策目标，例如文件类型、大小、访问时间等，可以实现广泛的任务，以调整客户的数据环境并充分利用存储资源。但是，通过自定义元数据标签来丰富政策目标，可以增加另一层智能，从而将业务优先级的自动化提升到文件粒度，以管理数据。

例如，可以根据文件所属的成本中心、部门、项目ID或学术资助参考编号来制定规则。这些规则可能包括数据子集的可用性和访问规则，或者根据部门或项目进行成本分析和投资回报率计算。或者，规则可以设定，以规定在包含可能对组织产生合规性影响的敏感信息时，如何处理特定的文件子集。

在基因组学、媒体和娱乐或其他流程驱动的用例中，文件在从创建、处理到完成的多个触点中不断进展。基于自定义元数据的目标可以自动化地在工作流程阶段之间无缝地移动数据。通过这种方式，项目经理可以确保文件在适当的时间处于适当的位置而无需手动处理，并且还可以确保将源元素和最终结果（直到文件的粒度级别）都归属于正确的项目或成本中心。

任何文件系统和自定义元数据变量的组合都可以用来丰富Hammerspace中的策略目标，以确定所有或特定数据子集应如何在任何存储、位置或云中进行保护、放置和管理。这些目标可以进行微调，以满足组织中多个独特用例的要求，简化自动化，而不会增加IT员工的复杂性，也不会中断用户。

自动化自定义元数据

在其他解决方案中，自定义元数据的一个常见问题是它们必须依赖人类来打标签。如果研究人员忘记应用元数据标签或标签拼写错误，那么来自这些研究的数据将无法正确识别，从而使管理该研究数据所需的策略变得无效。更糟糕的是，在多个隔离环境中，这可能导致数据丢失或孤立。

Hammerspace通过自动化的元数据继承来解决了这个问题，管理员或授权用户可以轻松地自定义，将任何组合的元数据标签分配给文件系统中的文件夹层次结构。

这些自定义元数据标签可以由授权用户在文件夹层次结构的任何级别上应用，从根级别向下。授权用户可以直接在界面中执行此操作，只需右键单击文件夹并从受控词汇表的元数据变量中进行选择，或者如果需要，可以即时自定义。此外，这些自定义元数据可以使用 Hammerspace Toolkit进行定义和应用。

即使子文件夹也会继承自定义元数据标签，并可能添加其他标签。当这些文件或文件夹从初始存储位置移动到全局数据环境或云中时，自定义元数据标签是持久的，并且将随着文件的移动而保持关联。通过这种方式，政策目标可以进行微调，以考虑自定义元数据在执行数据服务时的影响。

性能增强

与任何PFS一样，Hyperscale NAS可以支持PB到EB级的文件存储容量，包含数十亿个文件，分布在多个文件系统/目录中，且拥有性能极高。Hyperscale NAS的性能属性包括高吞吐量、快速元数据访问以及高速读取或写入I/O。具有不同性能工作负载或混合I/O需求的环境可以将这些工作负载整合到Hammerspace中，形成一个单一的全局文件系统，而不是为每个工作负载使用单独的文件系统。

相比传统的NAS解决方案，Linux标准的pNFS Flex文件带来了很大的性能提升。例如，通过移除数据路径中的文件系统开销，直接访问数据可以极大提升性能以及提高硬件利用率。Hyperscale NAS在大文件和小文件、频繁访问的场景都工作得很好。另外，Hyperscale NAS使用独立的Anvil元数据服务器，提供了独立的元数据访问。这个特性，在访问大文件时没有多大的性能区别，但对于那些使用小文件、元数据密集型的应用程序提供了极大的性能提升。

更进一步地，NFSv4.2减少了打开文件所需要的协议往返次数，这可以增加使用大量小文件的应用程序的性能。Hyperscale NAS使用了pNFSv4.2中的Flex文件功能，还提供了在线文件移动，这样热点文件可以移动到热存储而冷数据可以移动到冷存储。这个特征完全在后台工作，甚至是文件处于活动或者使用状态时，甚至在传统的存储上也能极大提升大文件和小文件的性能。

因此，应用程序可以以很高的吞吐处理大文件的读写访问，小文件的IOPS也极高。这种综合特征可以轻松支持最大的组织的AI训练，微调，和推理的数据访问需求。

应用场景

我主要关注AI训练中的数据管理问题，为说明Hyperscale NAS在AI训练中所发挥的作用，我从Hammerspace提供的材料中选了"大型AI训练中心"这个用例，如下图：在一个大型AI训练环境中部署了一套Hyperscale NAS用于支持GenAI LLM的数据访问。

在这个环境里面，存储节点是包含NVMe SSD的Linux服务器，上面运行NFS服务。客户的数据中心被分成三个独立的电源和网络区域，Hyperscale NAS Anvil元数据服务器对在这些区域之间进行了三路复制，所有主机都连接了多个GPU。

为了训练GenAI LLM，神经网络被分布在多个 GPU 和多个主机上。在大多数GenAI训练环境中，主机系统通常连接了六个或更多的GPU。因此，许多GPU和运行它们的服务器都会重复读取相同的训练数据。

这个组织使用Hyperscale NAS在多个存储服务器之间复制训练数据，每个存储服务器都能够为多个主机服务器提供同时的直接数据访问。通过部署Hyperscale NAS，该组织能够在标准路由以太网上使用约1,000个存储服务器，跨32,000 个GPU维持LLM GenAI训练吞吐量，实现持续的12TB/s吞吐量。

第二应用场景-简化混合和多区域/多云环境的自动化。正如上文所述，Hammerspace可以轻松地在多供应商存储环境中应用各种基于策略的目标，包括一个或多个云提供商、云区域和数据中心位置。这些目标可以是简单的数据放置任务，例如分层或数据迁移，也可以是数据保护、工作流自动化等关键任务。

每个服务级别目标可以全局设置，也可以根据多个元数据变量之一对指定的数据子集进行限制，这些元数据变量包括标准的POSIX文件系统元数据，以及高度定制的元数据标签。这些策略目标允许在文件粒度上制定简单、通俗易懂的规则，并且能够在后台完全自动运行，而不会中断用户或应用程序的使用。此外，这些自动化的全局策略目标通常可以减少或消除对冗余的特定供应商提供的以满足孤立存储的点状解决方案的需求。

这种以数据为中心的强大方法可以在存储孤岛之间管理数据，从而显著的为IT人员减少了复杂性，既可以降低运营成本，也可以提高存储利用率。这使客户能够更好地利用现有的存储空间，并推迟增加更多存储空间的需求。通过一个统一的数据管理界面，数据所有者现在可以全球范围内自动化多种数据服务，无论这些数据存储在今天的哪个存储设备上，或者将来会迁移到哪里。