英伟达提出AI内存全栈协同设计方案，Vera Rubin平台内存仅增约3%而推理吞吐量最高提升30倍

英伟达表示，AI模型扩展、上下文窗口变长和智能体普及正加剧GPU内存压力，导致HBM供应趋紧、价格上涨。公司提出通过低精度压缩、分层存储、多GPU部署及软硬件协同提升内存效率；测试显示，Vera Rubin NVL72单位成本推理吞吐量最高较GB300提升30倍，而单GPU HBM容量仅增加约3%。

来源：华尔街见闻