英伟达提出AI内存协同设计方案，称Vera Rubin单位成本推理吞吐量最高提升30倍

英伟达11月5日发文提出，通过GPU、CPU、网络、存储及软件协同设计提高AI内存使用效率，而非单纯增加GPU内存容量。方案包括以NVFP4压缩模型权重和KV Cache、将暂时不活跃的上下文转移至低成本存储层，以及利用多GPU分布式部署释放HBM空间。