4台Mac Studio跑通万亿参数模型,苹果挑战英伟达的推理叙事
苹果M5 Ultra版Mac Studio支持最高512GB统一内存及多机集群推理,已演示4台设备运行万亿参数模型。苹果称本地推理可减少云端按令牌计费,稳定工作负载或更经济;若企业将更多推理转向自有设备,英伟达在新增推理需求中的份额可能低于预期。分析人士建议关注实测速度、总拥有成本和企业采购反馈,并有人看好苹果、看空英伟达。
来源:华尔街见闻
苹果M5 Ultra版Mac Studio支持最高512GB统一内存及多机集群推理,已演示4台设备运行万亿参数模型。苹果称本地推理可减少云端按令牌计费,稳定工作负载或更经济;若企业将更多推理转向自有设备,英伟达在新增推理需求中的份额可能低于预期。分析人士建议关注实测速度、总拥有成本和企业采购反馈,并有人看好苹果、看空英伟达。
来源:华尔街见闻