DeepSeek全面开源推理框架，兼容英伟达和昇腾芯片

DeepSeek宣布全面开源内部推理框架DeepInfer及Token编解码组件deepseek-recipe，支持英伟达和华为昇腾平台，涵盖分布式推理、缓存复用、投机解码等能力。其披露，DeepSeek V4.1 Flash单集群日吞吐量达155万亿Token，并将持续开源推理代码和性能优化，但KVCache管理、负载均衡等部分组件暂未完整开放。

来源：华尔街见闻