内存还会跌吗？KV Cache砍掉99%，单卡吞吐提升6倍，港科大、CMU联合岩山科技开源新模型岩山科技旗下岩芯矩阵联合港科大、CMU等发布并开源EdgeRock-4B模型，通过“记忆岩锚”机制将KV Cache固定在约72MiB，使256K上下文下内存占用不增长，并在单张80GB显卡上实现512路长推理、吞吐12124 tokens/s

1. 

   科技脉搏

   内存还会跌吗？KV Cache砍掉99%，单卡吞吐提升6倍，港科大、CMU联合岩山科技开源新模型岩山科技旗下岩芯矩阵联合港科大、CMU等发布并开源EdgeRock-4B模型，通过“记忆岩锚”机制将KV Cache固定在约72MiB，使256K上下文下内存占用不增长，并在单张80GB显卡上实现512路长推理、吞吐12124 tokens/s

   5小时前

   

   ×

   

   内存还会跌吗？KV Cache砍掉99%，单卡吞吐提升6倍，港科大、CMU联合岩山科技开源新模型
   
   岩山科技旗下岩芯矩阵联合港科大、CMU等发布并开源EdgeRock-4B模型，通过“记忆岩锚”机制将KV Cache固定在约72MiB，使256K上下文下内存占用不增长，并在单张80GB显卡上实现512路长推理、吞吐12124 tokens/s。团队称其长上下文推理能力基本保持，模型支持文本和图像推理并可商用。
   
   来源：腾讯新闻

   5小时前