万卡算力和万亿参数大模型时代，AI存储何时爆发？_ ToB产业观察

独特魅力今天 14

默认

摘要： 新赛季火箭队中多位年轻球员的崛起让不少专家认为火箭队有机会进入季后赛其中申京与杰伦格林的闪耀以及塔里伊森小史密斯和惠特摩尔等年轻锋线的快速成长成为了季前赛里的亮点尤其是申京和格林打...

新赛季火箭队中多位年轻球员的崛起，让不少专家认为火箭队有机会进入季后赛。其中，申京与杰伦格林的闪耀，以及塔里伊森、小史密斯和惠特摩尔等年轻锋线的快速成长，成为了季前赛里的亮点，尤其是申京和格林打出了....

图片系AI生成

当前，大模型最显著的特征之一就是参数量呈指数级增长。根据Scaling Law（尺度定律）的规则，人工智能神经网络的参数量越多，模型越大，对于知识的总结归纳和推理泛化能力就越强。因而，从Ch GPT出现验证了“涌现”能力，到如今的两年里，业内首要关注的就是算力，怎样突破硬件算力，怎样以尽可能少的Token数量训练好一个模型。但在这一显著挑战之外，数据量猛增带来的数据存储，可能是仅次于算力的另一大技术难点。

“卷”向存储

年初，一位长期关注AI大模型应用的CTO与钛媒体APP交流中表示：“企业使用外部数据训练大模型，长文本是关键思路之一。但问题是，长文本处理特别消耗内存和硬件，因为模型训练和推理的内存变大，模型效果才能更好。这也导致在其每次查询的成本高于GPT-4，而后者基于微调。这不是ToB企业能够负担得其起的。”

他对钛媒体APP解释：微软提出了大模型的“不可能三角”，如果希望模型的微调能力很强，那么模型参数就不会很大，或者小样本的学习能力不会很强。长文本的逻辑是，让小样本学习的能力变强，同时放弃微调，这样模型参数肯定就会相应扩大。

彼时，正值国内长文本热潮。除了最早的Kimi，阿里巴巴、、360等众多厂商相继宣布进军长文本，从最初的可处理200万字上下文，迅速扩张至1000万字长文本能力。而在这股热潮中，也同样遗留了诸多待的问题。

根据技术博客Medium上一位AI工程师Szymon Palucha的记录：

以阿里开源的Qwen2-7B（7亿参数）大模型为例。目前GPU显存大小基本在80GB（以英伟达A100为例），那么如果拿不到更好的A100时，他根据公式：参数模型内存=7B*32位=7B*32/8字节=28B字节=28GB，测算出运行该模型至少还需要28GB内存，这还不算推理过程中对存储产生的额外开销。

为此，最简单的办法是降低参数精度，因为现在多数大模型可以半精度使用，而不会显著影响准确性。这意味着大模型在实际运行时，需要一定的内存或存储空间来存储和处理数据，大模型所需的内存量会根据上下文窗口的大小而变化。窗口越大，所占用的内存也就越多。

钛媒体注意到，这也是当下大模型应用厂商在破解算力问题之外，遇到的另一大技术困难点，去年还没有太多人关注——猛增带来的数据存储、内存带宽、时延等一系列问题。并且随着需求的爆发，已经带来一些技术侧产品侧的演进。

支持万卡算力和万亿参数LLM，存储两道槛

目前全球的科技巨头都在布局集群和万亿参数规模的大模型训练，对于这些集群而言，高性能的计算、存储和网络缺一不可。从存储层面来看如何提供支撑？一是要至少达到TB级带宽、百万级IOPS的存储性能，未来可能会演变为数十TB、上亿级IOPS的需求；二是要提升数据跨域调度、数据安全、数据可持续性访问等能力。

回顾过去两年间大模型带来的存储挑战，可以从三个阶段总结：

2022年初：大模型爆发初期，国内有超过100家的大模型公司开始迅速进行市场布局。在这个阶段，模型训练追求的就是“快”，通过IT基础设施的方案优化，有效地提升GPU效率，加速模型的训练并得到市场认可，即可抢占市场先机。

为此，模型训练的数据加载、模型训练过程中的断点续训要尽可能地降低对计算时间的占用，在万卡算力集群万亿参数的大模型的快速训练时，小于1分钟断点续训，需要存储提供TB级的带宽，同时小模型的训练推理则对IOPS提出更高要求，存储系统需提供超过百万级的IOPS。

2023年底到2024年初：随着模型在各行业落地的需求，在很多的行业场景里，行业数据缺少积累，过去分散在各终端、地域数据的夸协议、夸地域率共享整合。这就要求存储具备数据跨域调度，通过异构纳管实现全局命名空间管理，提升数据汇集、分析的效率。

2024年下半年开始：模型的真实落地，对数据质量要求更高，语料公司需要将数据汇集并进行精加工。大模型的行业化落地过程中，为了提升通用模型的专业化能力，训练出精度更高的模型，要求有更高质量的数据集。为得到高质量数据，原始数据要经过粗加工、精加工等多个作业环节。这个阶段，对数据的安全存储和数据可持续性访问提出了更高要求。

浪潮信息存储产品线副总经理刘希猛指出，模型参数量、训练数据量、GPU算力、网卡性能、GPU规模近些年均在飞速增长，原有存储不足以应对AI的快速发展。无论是海量训练数据加载、PB级检查点断点续训，还是高并发推理问答等，存储性能直接决定了整个训练推理过程中的GPU利用率。特别在万卡集群规模下，较差的存储性能会严重增加GPU闲置时间，导致模型落地困难、业务成本剧增。因此，现代存储已经由传统的数据载体和数据仓储，转化为AI发展的关键组件。存储系统正逐渐演进到提供更高的吞吐量，更低的，更的数据管理。

AI存储何时爆发？

既然针对AI场景的存储系统在前几年并没有得到太多重视，从需求侧，何时会迎来新的爆发点？“过去一年，存储的增量市场基本全部来自于AI场景。”刘希猛对钛媒体APP解释。

如果将未来的AI市场分为大致两类：一类是AI产业化的市场，在AI产业化进程中，更多的关注点可能集中在了模型训练，紧随其后的是语料生产，然后是算法优化。那么，存储首先就会在模型训练、语料生产领域产生价值，特别是语料，从今年开始就已有迹象，并在接下来两年里实现快速增长。

在刘希猛看来，从目前来看，大模型训练中最紧缺的是数据，各行业在可能都会开始着手收集各自领域的数据，并进行相应的数据加工处理。算力方面，尽管有人认为算力建设已接近泡沫阶段，甚至有些用力过猛。这一判断可能在一定程度上具有方向性的正确性。接下来，算力的发展可能会进入一个相对平稳的阶段。

第二类是产业的AI化，即大模型真正落地到行业并产业实际价值，可以观察到一些领域已经先行一步。例如，金融领域的量化交易、证券交易，在科研领域，AI也开始被用来辅助科研工作。此外，制造业也是AI应用的一个重要领域。这两方面都会对AI存储市场带来比较好的促进作用。

刘希猛还指出，当前AI存储面临的挑战尚未完全，若继续向前发展，其实还是要从性能、效率以及可靠性三方面入手。一是高性能，以混合AI负载对存储读写带宽、IOPS，以及低时延的要求；二是率，通过存储支持文件、对象、大数据等非结构化协议融合互通，全局命名空间等，减少多份数据重复存储，以及数据夸协议、夸区域、夸系统调度检索的问题；三是高韧性，通过故障的快速恢复、故障前的精准预测降低系统异常时的性能影响，以及服务的连续性，同时强化数据保护与安全防护能力，保证数据的完整、一致、持续可访问。

目前国内外在建千卡集群、万卡集群，且未来可能还会出现更大规模的集群。想要达到同等算力，若是采用国产GPU，可能需要不仅达到十万卡规模，而是更为庞大的集群。

随着集群规模的扩大，除了存储本身面临的挑战外，还将带来存储整体方案的挑战。这涉及从存储到前端网络，再到算力节点的整个链条。其中，网络的选择成为一个关键问题。国内之所以更多地使用RoCE网络，是因为国内的集群规模需求更大，而IB网络在扩展规模上有所限制。RoCE网络与存储及上层之间的协同性，尤其是超大规模集群的协同性上，可能会成为新的关注点。

钛媒体注意到，RDMA(Remote Direct Memory Access)全称远程内存直接访问技术，是一种数据传输技术。目前算力集群对网络的建设在2022年之前基本会选择“二层虚拟网络”，随着AI应用的爆发，2023年至今已经在尝试智能无损网络和以太网，并且往往围绕性能、成本、生态系统和兼容性等方面进行权衡。RoCE就是一项基于以太网的RDMA技术。

甲骨文公司中国区技术咨询部高级总监嵇小峰与钛媒体APP交流中同样指出，大规模集群除了GPU数量多之外，同时具备网络低延时和高带宽的特性。从基础设施角度来看，大量GPU集中部署会带来供电和冷却方面的巨大挑战。同时，在训练过程中，对存储的需求同样至关重要。因为训练往往涉及成千上万块GPU的协同作业，一旦有少数GPU（如一块或两块）出现故障，整个训练进度可能会因此延误。

例如，今年9月亮相的Oracle Zettascale算力集群，目前可提供13万多颗GPU，相当于可提供2.4 ZFLOPS的云端算力。为进一步增强网络的低延迟和高带宽，Oracle采用支持两种网络协议：InfiniBand和RoCEv2，这是一种增强版的以太网。这两种技术均具备一种核心绕行机制，能让网络流量避开常规路径中必须穿越的某些组件，以实现更迅速的传输至目标地。这样的设计促进了数据更快地抵达GPU，进而提升了处理效率。