英伟达提出AI内存协同设计方案

英伟达提出GPU、CPU、网络、存储及软件协同设计方案，称可提高AI内存使用效率，而非单纯增加GPU内存容量。方案包括用NVFP4低精度格式压缩模型权重和KV Cache，将暂时不活跃的上下文转移至低成本存储层，并通过多GPU分布式部署释放HBM空间。 英伟达披露，在SemiAnalysis AgentX测试的特定工作负载下，GB300 NVL72单位成本推理吞吐量最高为H200平台的10倍；Vera Rubin NVL72相较GB300 NVL72，单位成本推理吞吐量最高提升30倍，单GPU HBM容量仅增加约3%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。