无量火科技发布Ember端侧推理引擎,通过预测性部分加载降低模型内存占用,实测可将MoE模型内存占用降低80%、Dense模型降低50%,并支持手机运行30B大模型。公司还推出基于Ember的FlareOS,计划进一步拓展端侧AI生态,预计明年在手机上流畅运行100B模型。
来源:腾讯新闻
本站内容来自 Telegram 频道,实时更新
订阅频道