Inferact使用自研megakernel和DeepSeek的DSpark推测解码框架,在16块谷歌TPU v7上运行Kimi K3,速度达到每秒709个token,比同条件下的英伟达GB200快57%;相关代码已开源。
来源:腾讯新闻
本站内容来自 Telegram 频道,实时更新
订阅频道