全栈协同设计解决AI内存挑战

更大规模的模型、更长的上下文和代理式应用正在增加GPU内存压力，而内存供应紧张且价格上升——这一趋势预计在短期内将持续。 NVIDIA与内存合作伙伴紧密合作，迅速采用最新的内存技术。 NVIDIA率先将HBM3e和HBM4技术整合到加速计算堆栈中。 但方法并非简单地在GPU上堆砌更多内存。 它是全栈协同设计。 NVIDIA有意将GPU、CPU、网络、存储和软件一起设计，以在AI工厂的每一层内存中都获得更多有用的工作。 这很重要，因为AI工厂运行在内存和存储层次结构上。

GPU高带宽内存（HBM）是最快、最昂贵且竞争最激烈的层级——模型权重和KV缓存争夺有限的容量。 在其下方是CPU内存、本地SSD和共享存储，它们在速度和更低的每比特成本之间进行权衡。 一个字节能做多少有用的工作取决于整个层次结构的利用程度：缩小必须存储的内容，将其放置在正确的层级，并在需要之前将其返回到GPU。 NVIDIA在每个层级上都以最高效的方式利用内存——结果证明是有效的。

从NVIDIA Blackwell Ultra到Vera Rubin平台，每个GPU的HBM容量增长了约3%，而SemiAnalysis AgentX上的代理式吞吐量每美元增长了30倍。 代理式推理正在给HBM前沿带来更多压力。 当前模型现在有数万亿个参数——这些参数持有AI模型在训练中学到的值。 KV缓存，它持有模型需要理解每个活动请求的上下文，而无需重新处理相同信息，也在扩展。 代理式轨迹跨重复的模型和工具调用携带先前的上下文，在某些情况下处理高达300万个标记，因此每个请求的工作内存随着时间的推移而增长。

检索增强生成（RAG）向提示添加相关的企业信息，创建更多需要处理和保留的上下文。 在推理期间，HBM主要持有模型参数和KV缓存。 结果：对HBM的压力更大。 为什么AI工厂需要内存层次结构。 增加每个GPU的HBM容量是对这种压力的明显反应，但容量只能提供带宽可以移动的内容。 将HBM视为仓库，内存带宽视为其装卸码头。 更大的仓库可以容纳更多库存，但码头决定了每次可以装卸多少。 一旦码头达到容量，移动更多库存会花费更长的时间，并减慢响应时间。

如果延迟超过所需的服务水平，即使它增加了成本并消耗了电力，增加的空间也无法得到有效利用。 这也是为什么没有操作会将所有库存都保存在最接近、最快的地方。 正在移动的靠近线路。 等待的移动到附近更大的、更便宜的空间，并在需要之前返回。 AI工厂面临同样的限制。 更多的HBM可以容纳更多的KV缓存并支持更多的并发用户。 每个添加的用户共享相同的计算和内存带宽。 但当每个用户都期望快速响应时，最终内存带宽无法像计算那样快速地提供数据：工程师称之为内存墙。

超过这一点，额外的HBM容量无法得到利用，但它仍然增加了成本并消耗了电力。 数据仍然需要一个地方存放，但并非所有数据都需要最快的、最昂贵的层级。 这就是为什么AI工厂在内存和存储层次结构上管理数据。 通过全栈协同设计最大化每个字节的价值。 NVIDIA的全栈协同设计通过减轻模型权重、KV缓存和RAG数据的压力，使每个HBM字节都发挥作用。 它通过针对不同的低效来源的技术来实现这一点：缩小模型权重并将它们分布在NVL72域中。

NVLFP4格式与FP8相比，减少了权重所需的空间，FP8是NVIDIA Hopper平台可能的最低精度。