英伟达优化Kimi K3模型推理速度，提升1.68倍SemiAnalysis称，英伟达通过上游vLLM优化，使2.8万亿参数Kimi K3模型在GB300 NVL72硬件上的推理速度达到423 tok/s/user，较同硬件提升1.68倍

1. 

   科技脉搏

   英伟达优化Kimi K3模型推理速度，提升1.68倍SemiAnalysis称，英伟达通过上游vLLM优化，使2.8万亿参数Kimi K3模型在GB300 NVL72硬件上的推理速度达到423 tok/s/user，较同硬件提升1.68倍

   3小时前

   

   ×

   

   英伟达优化Kimi K3模型推理速度，提升1.68倍
   
   SemiAnalysis称，英伟达通过上游vLLM优化，使2.8万亿参数Kimi K3模型在GB300 NVL72硬件上的推理速度达到423 tok/s/user，较同硬件提升1.68倍。该优化由CentML工程师Benjamin完成，采用Cute DSL编写解码专用Megakernel，包含约1.2万行代码；英伟达还在为DeepSeek V4.1等模型开发优化。
   
   来源：IT之家

   3小时前