谷歌TPU运行Kimi比英伟达GPU快57%,使用的还是DeepSeek推理框架

Inferact使用自研megakernel和DeepSeek的DSpark推测解码框架,在16块谷歌TPU v7上运行Kimi K3,速度达到每秒709个token,比同条件下的英伟达GB200快57%;相关代码已开源。

来源:腾讯新闻